Erbaut wurde die Schlossburg als Amtssitz im Machtbereich der Markgrafen von Meißen und zugleich zum Schutz des im 12. Jahrhundert aufblühenden Bergbaus. Urkundlich lässt sich schon 1266 ein Ritter von Clomen als Besitzer nachweisen, dem ritterliche Herrschaften auf Bilin, der Burggrafen von Dohna und der Ritter von Maltitz folgten. Der wichtigste Umbau des Schlosses geht auf den um 1500/1550 lebenden berühmten Baumeister Peter Flötner aus Nürnberg zurück, der die dreigeschossige Pilaster-Architektur an der Hofseite des Schlosses schuf, ein feines, mit zarter Ornamentik bedecktes Gliederwerk.

Die Rundbogenfriese sind Zeugnis der Frührenaissanceornamentik. Die Reliefmedaillons des Frieses unter dem Dachsims mit Delphinen und Laubwerk stellen Sigismund von Maltitz mit Federbarett und Heinrich von Maltitz in der Amtstracht eines katholischen Bischofs dar. Die Bildnisse darunter zeigen die sächsischen Fürsten jener Zeit.

Heute beherbergt das Schloss das Amtsgericht Dippoldiswalde sowie das Museum für mittelalterlichen Bergbau in Dippoldiswalde (MiBERZ).