Historia muzeum zaczyna się w 1925 roku, kiedy to T. Charlewski - Dyrektor Państwowego Seminarium Nauczycielskiego Żeńskiego w Żywcu wraz z dwójką swoich seminarzystek, które realizowały jego marzenia, zaczęli gromadzić kolekcję przedmiotów. Uczennice szkicowały oraz wykonywały rysunki inwentaryzacyjne eksponatów aby w 1934 roku w budynku seminarium zorganizować wystawę. W 1936 roku po zlikwidowaniu seminarium zbiory przekazano Sekcji Miłośników Żwiecczyzny, następnie utworzono Muzeum Ziemi Żywieckiej. Oprócz zbierania eksponatów, placówka zajmowała się badaniami naukowymi i popularyzacją  wiedzy o regionie. Podczas II wojny światowej zbiory przeszły w ręce władz niemieckich, którzy wywieźli najcenniejsze eksponaty. Reaktywacja muzeum nastąpiła w 1945 roku po wyzwoleniu miasta. Placówką zajęło się Muzeum Narodowe w Krakowie. Od 2005 roku muzeum mieści się w Starym Zamku.