U podnórza Góry Zamkowej  już w XIV wieku zbudowano  Zamek Dolny. Był to   rozległy pałac, remontowany i
przebudowywany w ciągu wielu  wieków panowania Jagiellonów  i Wazów. Renesansową rekonstrukcję
pałacu rozpoczął  Zygmunt Stary. Zakończono ją  przed 1530 r. Niezaprzeczalnie  wielki wpływ na rozwój pałacu
miała żona Zygmunta Starego – Bona Sforza, córka księcia  Mediolanu Giano Galeazzo Sforzy i księżniczki Baru Izabelli  Aragońskiej. Bona dążyła  do stworzenia w wileńskim  pałacu reprezentacyjnej rezydencji dynastii Jagiellonów. W  owym czasie projekt rekonstrukcji  pałacu mógł wykonać  włoski architekt Bartolomeo  Baretti i Polak Benedykt z  Sandomierza. Tu niewątpliwie  pracował Włoch Bernardo Zanobi  de Gianotti.  Świetnością  lśnił Zamek Dolny w czasach  panowania króla Zygmunta  Augusta.

XVI–XVII wiek – to okres świetności rezydencji polskich królów i litewskich książąt. Tu byli przyjmowani
posłowie Watykanu, Imperium Rzymskiego, Moskwy, Węgier, Turcji, Persji, Francji, Wenecji, Mantui i in. Przyjmowana tu była przysięga Prus i książąt Kurszskich, ogłaszane przywileje, zbierała się Rada Państwa
i Sejm. Tu odbyło się redagowanie Litewskich Statutów, odbywały się sądy, przechowywano Metrykę Litewską i skarbiec Litwy; była mennica. Zygmunt August zebrał i umieścił tu ogromną bibliotekę, kolekcję arrasów, broni, zbroi, obrazów, trofeów myśliwskich. Skarbcem pałacowym zachwycał się legat papieski Bernardo Bongiowani.
Władysław IV Waza w 1636 r. urządził w pałacu pierwsze występy opery pt. “Uprowadzenie Heleny” (muzyka
Marco Scacchio,libretto – Virgilio Pucciteli). Były to początki teatru w Wilnie.

Dolny Zamek częściowo spalili Kozacy w czasie okupacji Wilna w latach 1655–1661 podczas wojny z carem Aleksiejem Michajłowiczem. Jednakże był zamieszkały do 1830 r. Dopiero po Powstaniu Listopadowym
Rosjanie Zamek Dolny zrównali z ziemią i założyli park.
Po wejściu do Unii Europejskiej Litwa odbudowała Zamek Dolny według projektów współczesnych architektów i
nazwano go Pałacem Władców. Wnętrze  dekorują zabytkowe meble, gobeleny, kupione w Europie Zachodniej.
Powierzchnia pałacu wynosi 14.000 m kw. Wiele komnat już ma kasetonowe sklepiena i piękne ceramiczne
posadzki, wykonane w fabryce ceramiki w Wilnie w dzielnicy Dwarczionis. Pałacowe komnaty dekorują piece na wzór średniowiecznych.
Odbudowaną książęcą rezydencję wykorzystuje się  jako wielofunkcyjne historyczno- kulturalne centrum.
W pałacu w odbudowanych historycznych wnętrzach jest  stała ekspozycja muzealnych  eksponatów, tu prowadzi się działalność edukacyjną, organizowane są wystawy, koncerty, konferencje. Odbywają  się państwowe reprezentacyjne  przedsięwzięcia.