Im Osten des Dorfes Herrenzimmern befinden sich die beeindruckenden Überreste der Burg Herrenzimmern auf einem Bergsporn, der von tiefen Schluchten umgeben ist.
Die Burg war einst der Stammsitz der hochadeligen Familie der Herren und Grafen von Zimmern. Bedeutende Mitglieder dieser Familie waren die Grafen Wilhelm Werner (1485-1575) und Froben Christoph von Zimmern (1519-1566), letzterer bekannt für die Verfassung der berühmten „Zimmerischen Chronik“. Die Burg, die bereits im 11. Jahrhundert erwähnt wurde, erhielt ihr heutiges Aussehen durch den Wiederaufbau von Wilhelm Werner nach einem Brand zu Beginn des 16. Jahrhunderts. Nach dem Aussterben der Familie im männlichen Stamm wurde die Burg im Jahr 1595 an die Reichsstadt Rottweil verkauft und 1810 von der Gemeinde Herrenzimmern erworben. Die Gemeinde ließ die Burg daraufhin verfallen. Vom Palas der Burg sind heute noch bedeutende Teile der massiven, bis zu vier Stockwerke hohen Umfassungsmauern erhalten. In der romantischen Ruine der ehemaligen Burgkapelle wurde im Jahr 2007 ein Ort der Besinnung eingerichtet, der ein bronzenes Jakobus-Relief des Rottweiler Künstlers Tobias Kammerer beherbergt.