Początki Starego Zamku sięgają XV wieku. Początkowo była to warownia na skrzyżowaniu szlaków handlowych z Małopolski i Śląska prowadzących na Morawy i Węgry. Możliwe, że w tym miejscu pobierano od kupców opłaty celne.

Zamek został zburzony  przez wojska Kazimierza Jagiellończyka, w wyniku skomplikowanej sytuacji politycznej, by nie stał się on oparciem dla wrogów. Ostatecznie Jagiellończyk wykupił Żywiecczyznę z rąk książąt oświęcimskich i przekazał swoim sojusznikom - Komorowskim. Komorowscy odbudowali zamek, a przede wszystkim w drugiej połowie XVI wieku rozbudowali go w stylu renesansowym, dlatego też arkadowy dziedziniec bardzo przypomina krakowski Wawel. W roku 1624 Żywiecczyznę przejmują Wazowie, dlatego też na żywieckim zamku dwukrotnie przebywał ówczesny król - Jan Kazimierz. Wiek XVIII przynosi kolejną zmianę właścicieli Żywca. Zostają nimi Wielopolscy i właśnie wtedy żywiecki zamek jest obok Pieskowej Skały główną siedzibą jednego z najbogatszych magnatów w RP - Franciszka Wielopolskiego. Za jego rządów urządzono park i ogród zimowy. W wieku XIX dobra żywieckie przechodzą w ręce Habsburgów. W roku 1870 dobudowana zostaje neogotycka wieża według projektu Karola Pietschki. W czasach rządów Habsburgów w Starym Zamku mieściły się urzędy oraz Dyrekcja Dóbr Żywieckich. W roku 1895 do Żywca, wraz z rodziną sprowadza się Karol Stefan Habsburg i wtedy w murach Starego Zamku mieszkają głównie urzędnicy i pałacowa służba. W okresie II wojny światowej Habsburgowie tracą dobra żywieckie. Po II wojnie światowej dobra żywieckie przejmuje władza ludowa i w zamku mieszczą się m.in. różne instytucje oraz mieszkania. W ostatnich latach Stary Zamek przeszedł gruntowny remont i mieści się w nim Muzeum Miejskie.

Zdjęcie: Dario Film