Im Jahr 752 wurde erstmals der Stammsitz der Herren von Wehrstein erwähnt, die wahrscheinlich 1409 mit dem Tod von Benz von Wehrstein ausgestorben sind.
Es gibt eine Sage, die besagt, dass Karl der Große seine Frau Hildegard, eine Schwäbin, auf der Burg Wehrstein kennengelernt haben soll. Während des Dreißigjährigen Krieges wurde die Burg 1643 größtenteils von kurbayrischen Truppen zerstört. Die österreichische Oberlehensherrschaft, die von 1381 bis 1806 dauerte, endet, und Wehrstein geht vollständig in den Besitz des Hauses Hohenzollern-Sigmaringen über. Im Jahr 1850 wird Hohenzollern mit der Herrschaft Wehrstein preußisch. Im Jahr 1973 wird Fischingen vom Landkreis Hechingen dem Landkreis Rottweil zugeordnet. Im Jahr 2003 wird der Freundeskreis Burgruine Wehrstein gegründet, mit dem Ziel, die Burganlage vor dem völligen Zerfall zu retten. Der Privatinvestor Alois Gfrörer kauft die Burganlage im Jahr 2006, und 2009 wird der Förderverein Burgruine Wehrstein e.V. gegründet. Dank gemeinsamer Anstrengungen des Besitzers, der Gemeinde Empfingen, der Stadt Sulz, des Landesdenkmalamts Baden-Württemberg, der Denkmalstiftung Baden-Württemberg und nicht zuletzt der engagierten Mitglieder des Fördervereins konnte ein vollständiger Zerfall der Burganlage verhindert werden. Die Burg erstreckt sich über 100 Meter von Südosten nach Nordwesten. Auf einer Breite von 50 Metern sind die Bastion mit einem beeindruckenden Tonnengewölbe im Inneren, ein Rundturm, die Kaminwand des ehemaligen Palas und eine imposante Außenmauer zu sehen.