Wasser umgibt die 1307 erstmals erwähnte Burganlage auf dem Porphyrfelsen bis heute. Aus dieser Zeit sind noch Teile des Zwingers und der Bergfried erhalten. Die Anlage besteht aus der Kernburg um den Bergfried und der Vorburg mit der neugotischen Reithalle. Anfang des 15. Jahrhunderts entstanden auf den mittelalterlichen Burgresten die ersten schlossartigen Bauten.
Nach dem Großbrand von 1483, den nach der Marientaler Klosterchronik ein altes Weib aus Rache für eine empfangene Strafe in einer Sturmnacht entzündet haben soll, wurden die Obergeschosse in niedersächsischem Fachwerk erneuert. 1575 entstand der Nordflügel der Kernburg mit Renaissancefenstern und Treppentürmen.
Der abschließende große Umbau, der dem gesamten Ensemble sein heutiges Aussehen verlieh, geschah von 1860 bis 1897 im Stil der Neugotik. Das Schloss erhielt dabei einen burgähnlichen Anstrich mit zahlreichen Zinnen auf Giebeln, Mauern und Bergfried, mit großen Spitzbogenfenstern in der Reithalle, mit Veranda, Altan und Terrassengarten. Auch der umgebende Landschaftspark wurde angelegt.