Rund um das Jahr 780 n. Chr. wird angenommen, dass sich eine Fliehburg aus dem Frühmittelalter auf dem Schlossberg befand, in paralleler Lage zum fränkischen Königshof in der Nähe der Remigiuskirche.
Zu Beginn des 11. Jahrhunderts wurde die Burg wahrscheinlich zu einem hochmittelalterlichen Herrschaftssitz der Nagoldgaugrafen und später der Pfalzgrafen von Tübingen ausgebaut. Der älteste erhaltene Teil der Burg ist die Schildmauer mit Buckelquadern und den Fundamenten im Burghof, die aus dem 12. Jahrhundert stammen. Nach 1230 gelangte die Burg durch Heirat in den Besitz der Grafen von Hohenberg, die sie wahrscheinlich erheblich erweiterten. Der Bergfried stammt aus dieser Zeit. Im Jahr 1363 wurde die Grafschaft Hohenberg-Nagold an den Grafen von Württemberg verkauft. Im 15. Jahrhundert wurde der Festungscharakter der Anlage durch den Bau der Vorburg und den unteren Zwinger verstärkt. Die Kernburg hat die Form eines Dreiecks mit der Spitze nach Süden. Um das Jahr 1560 plante Herzog Christoph den Ausbau der Burg zur Landesfestung, was jedoch an finanziellen Schwierigkeiten scheiterte. Im Jahr 1645, gegen Ende des Dreißigjährigen Krieges (1618–1648), wurde die Burg von Truppen des Kurfürstentums Bayern eingenommen und zerstört. Im Jahr 1646 wurde der Abriss von Herzog von Württemberg angeordnet, und die Burg wurde als Steinbruch freigegeben. Der Merianstich von 1643 ist die einzige zeitgenössische Abbildung der Nagolder Burg vor ihrer Zerstörung. Im 19. Jahrhundert erhielt die Ruine neues Leben. Ein so genannter „Turniergarten“ wurde von 1863 bis 1880 in der Vorburg als eine Art botanischer Garten angelegt. Ab 1877 schufen das staatliche Forstamt und der Nagolder Verschönerungsverein einen Anziehungspunkt „großen Stils“ auf der Burgruine.