Świadectwem dawnego strategicznego znaczenia Wyżyny Krakowsko – Częstochowskiej są zamki Szlaku Orlich Gniazd. Jednym z nich jest Zamek Rabsztyn, który został wzniesiony na początku XIV w. być może na miejscu wcześniejszego, drewnianego założenia. Pod koniec XIV w. zamek stał się własnością rodu Melsztyńskich herbu Leliwa. Za udział w buncie przeciwko królowi Melsztyńscy zostali pozbawieni szlachectwa, a Rabsztyn zamieniono na starostwo niegrodowe. W połowie XV w. starostą rabsztyńskim został Andrzej Łęczyński. Ród ten pozostał właścicielem zamku do XVI w. Kolejnymi rezydentami zostają Bonerowie, którzy przez trzy pokolenia, sprawują urząd starosty rabsztyńskiego.
W 1556 r. na zamku rabsztyńskim, w gościnie u Jana Bonera, był duchowy przywódca polskich innowierców Jan Łaski. W 1587 r. podczas podwójnej elekcji, gdy część szlachty obrała na króla arcyksięcia Maksymiliana Habsburga, a część Zygmunta III Wazę. Habsburg ruszył na Kraków, aby koronować się na Wawelu. Nieliczna załoga Rabsztyna dowodzona przez Kozaka pik. Hawryłę (Gabriela) Hołubka odparła atak sprzyjającemu Maksymilianowi Jana Zborowskiego, a następnie wspólnie z olkuskimi górnikami zaatakowała i rozbiła 35o-osobowy oddział wojsk arcyksięcia, zdążających pod Kraków z aprowizacją.
Po śmierci w 1592 r. ostatniego z Bonerów, Seweryna, schedy po nimi objął Jan Firlej, Kolejnymi starostami rabsztyńskimi byli marszałek nadworny Mikołaj Wolski oraz marszałek wielki koronny Zygmunt Myszkowski. Za ich czasów około 1615 r. ,w miejscu zamku dolnego powstał renesansowy pałac. Niestety nie przetrwał długo, gdyż w 1657 r. wycofujący się Szwedzi ograbili, a następnie podpalili słabo broniony Rabsztyn. Od tego momentu zamek zaczął popadać w ruiny .Ostatnia lustracja z 1789 r. opisuje jeszcze całkiem niezły stan zamku: „połowa tylko murów rozwaliną stoją, na drugiej połowie dach do reszty spada przez co już pokoje poginęły. Rezydencja Starosty z izbami, spiżarnią, dobrze utrzymana, dachem gontowym pokryte. Folwark przystawiony do murów. Studnia bardzo głęboka w skale wykuta, nowo wyreperowana, dachem pokryta. Spichlerz pod gontami z piętrem porządny; stodoła o dwóch boiskach; browar pod gontami,z suszarnią, palarnią, z izbą do roszczenia słodu, izbą dla pisarza i z szpiklerzem” . Niektóre pomieszczenia były wykorzystywane do początku XIX w., ale siedziba starosty została przeniesiona do wybudowanego u podnóża zamku dworu. Dzieła zniszczenia dopełnili poszukiwacze skarbów, którzy w połowie XIX w. wysadzili w powietrze wieże zamku górnego.
Od kilkunastu lat Gmina Olkusz, która jest właścicielem zamku prowadzi prace mające na celu uchronienie tego cennego zabytku przed zniszczeniem Od tego czasu uzupełniono 1 odtworzono czyść murów oraz zrekonstruowano węzeł bramny, wybudowano drewniane mosty nad fosą i przed bramą oraz drogę dojazdową, a także odtworzono część murów zamku górnego i wieży, gdzie powstał taras widokowy. Od 2003r., w pierwszy weekend lipca, pod zamkiem organizowane są widowiskowe turnieje rycerskie.
Dwór starościński miał mniej szczęścia niż zamek; popadł w ruinę i został rozebrany w końcu XX w. Na jego zrębach, przy zachowaniu części piwnic, wystawiono obecny budynek.
