Gotický hrad dal postavil přibližně mezi lety 1380-90 pan Čeněk z Vartemberka. V první polovině 15. století patřil pánům z Bergova. Roku 1424 byl marně dobýván husitskými vojsky. Roku 1438 se jej zmocnili záškodníci Kryštof Šok z Helfenburku a Švejkar. Nevypudili je odsud ani roku 1440 pomocí zemské hotovosti. 1469 byl hrad dobyt královským vojskem Jiříka z Poděbrad. Majitelem byl toho času Jan Zajíc z Hazmburku. Sídlem panstva však již byla tou dobou nedaleká Kost
.     Koncem 16. století byl opuštěn a pomalu chátral. Mezi lety 1622-34 vlastnil hrad Albrecht s Valdštejna. Do konce třicetileté války sloužil několikrát jako vojenská pevnost Švédům. Roku 1648 vyhořel. 1841-43 za Achrenthalů vzniklo v bývalém paláci pod věží Pannou schodiště s vyhlídkou. Ve dvacátých letech 20. století přechází torzo hradu do majetku státu. 1931-34 bylo zdivo částečně konzervováno. V současné době je hrad prohlášen Národní kulturní památkou a je průběžně opravován. Poslední rok minálého století byla zpřístupněna i druhá věž Baba. Z té můžete pozorovat neopakovatelné výhledy do kraje.
    Jedinečný skalní útvar "nesoucí" hrad je sopečného původu. Čedičová skála vznikla v třetihorách ztuhnutím žhavého magmatu. Obě sopečné homole jsou vzdáleny 76 metrů. Nadmořská výška skály na Panně dosahuje 514 metrů. Relativní výška vrcholu Baby je asi 47 metrů, Panny kolem o deset metrů více. Samotná stavba hradu je z hlediska architektonického na svoji dobu jedinečným a odvážným počinem. Profesor A. Humboldt, známý německý cestovatel a přírodovědec celý útvar nazývá osmým divem světa.