Data powstania najstarszej zabudowy na wzniesieniu o nazwie Lipowiec, nie jest niestety znana. Niektóre, nie do końca pewne źródła sugerują, że w  IX wieku znajdowała się tu silna, zapewne drewniana warownia zwana Lipową, a teren ten podlegał Państwu Wielkomorawskiemu.

Wygląd i wielkość budowli w tym okresie nie są szczegółowo znane. Z pewnością w jej obrębie znajdowała się wolno stojąca, istniejąca do dziś, kamienna wieża, której dolne partie pochodzą z końca XIII wieku. Funkcjonowanie średniowiecznej twierdzy zapewniała, umiejscowiona obok kamiennego stołpu, wykuta w litej skale studnia oraz bliżej nie określone, drewniane obiekty mieszkalne i gospodarcze.
 
W roku 1969 przekazano zamek, w formie zabezpieczonej ruiny, pod opiekę Muzeum w Chrzanowie. Od 1970 roku Lipowiec wraz z leżącym u jego podnóża Nadwiślańskim Parkiem Etnograficznym, stały się zamiejscowymi oddziałami chrzanowskiego muzeum.
    
1 stycznia 2007 roku, zamek oraz skansen oddzieliły się od Muzeum w Chrzanowie i stworzyły odrębną jednostkę administracyjną o nazwie: Muzeum - Nadwiślański Park Etnograficzny w Wygiełzowie i Zamek Lipowiec. Nowa instytucja ma swoją siedzibę w zrekonstruowanym dworze z Drogini, który znajduje się na terenie skansenu.

Źródło: zamek-lipowiec.republika.pl