Im südlichen Bereich der Stadtpromenade befindet sich das so genannte "Schloss". Aus einer befestigten Burganlage entstanden, zeigt es in seiner Grundstruktur die Architektur eines 1856 erbauten Spinnereikomplexes. Heute beherbergt es das Kulturschloss Großenhains, das zur 3. Sächsischen Landesgartenschau 2002 umfassend saniert wurde. Zahlreiche Kulturveranstaltungen finden jährlich statt.