Durch den Ort Angelhausen - Oberndorf führt die schmale Burggasse steil in das ehemalige Burggelände, zur Kirche St. Nikolaus. Diese Kirche gehört zu den ältesten romanischen Kirchen Thüringens. Ehemals war dieser Bau eine dreischiffige romanische Pfeilerbasilika mit Rechteckchor. Die Seitenschiffe wurden im 16. Jahrhundert abgebrochen und die Arkaden vermauert.
Von der Käfernburg zeugen heute nur noch die Wallreste und der Burgkegel. Die Burg war die Stammburg des Grafen von Käfernburg, eines der mächtigen Grafengeschlechter Thüringens. Der Bischof Bonifatius wurde bei seiner Mission in Thüringen an die Grafen der Käfernburg verwiesen. Auch der Heilige Günther stammt von der Burg. Im Jahr 1385 erlosch das Geschlecht der Käfernburger. Die Burg fiel an die Landgrafen von Thüringen, welche zuweilen auf der Burg residierten. Die Grafen von Schwarzburg kauften die Burg. Allmählich verfiel die Anlage, Steine wurden zum Bau des Arndstädter Schlosses, aber auch zum Häuserbau im Ort verwendet. Vom Platz der ehemaligen Burg hat man einen herrlichen Rundblick. Aus diesem Grund wird der Bergkegel gern aufgesucht.