Die Höhlenburg dürfte um das Jahr 1275 von den Herren von Hölnstein erbaut worden sein. Ab dem Jahr 1388 wurde sie teilweise mehrmals veräußert und schließlich 1431 von Renhard Nerer, dem Schwiegersohn von Konrad von Hölnstein, bewohnt.
Im Jahr 1474 wechselte die gesamte Burg in den Besitz von Graf Jos. Niklas von Zollern. Graf Eitel Friedrich von Zollern entschloss sich im Jahr 1585 dazu, „den Turm auf dem Burgstall bei Stetten“ abzureißen. Im Jahr 1985 wurde die Ruine von der Stadt Burladingen restauriert.
Die frühere Burganlage, die von einer östlichen und südlichen Mauer mit Gräben geschützt war, verfügte über eine große und eine kleine Höhle sowie einen Durchgang und beinhaltete einen Donjon mit einem Gewölbekeller, einem Burghof und verschiedenen Gebäuden. Von dieser Anlage sind noch beträchtliche Überreste der Mauern erhalten geblieben.