Das Schloss wurde an der Stelle der ehemaligen Piastenburg um die Wende des 13. und 14. Jahrhunderts errichtet. Im Jahre 1628 kaufte Albrecht Wallenstein das Herzogtum von dem Kaiser Ferdinand II. Er ließ die ruinierte Burg abreißen und begann, an derselben Stelle eine neue Residenz aufzubauen. Sie wurde von Vincent Boccaccio entworfen. Der Tod des Herzogs unterbrach diese Arbeiten. Erst sein Nachfolger, Wenzel Eusebius Lobkowicz, setzte 1670 den unterbrochenen Bau fort, diesmal nach den Plänen von Antonio Porta. Sein Sohn Ferdinand vollendete das Werk vor 1700. Peter von Biron, der Herzog von Kurland und seit 1786 Herr von Sagan, unternahm viele Veränderungen im Schlossinneren, ohne jedoch Hand an die Fassade zu legen. 1842 wird das Herzogtum mit dem Residenzschloss Eigentum von Dorothea Talleyrand-Périgord. Der Saganer Hof gehörte zu den bekanntesten in Europa. In dieser Zeit wurden im Schloss viele Modernisierungsarbeiten vorgenommen. Die heutige Form des Schlosses ist vom Barock geprägt.
Der um das Schloss liegende Stadtpark, ehemaliger Fürstenpark, gehört zu einer Parkanlage der Gartenkunstwerke. Schon vor dem Krieg wurde er als der schönste Park in Schlesien und einer der schönsten in Mitteleuropa anerkannt. Er ist einer der größten, unter Denkmalschutz stehenden Stadtparks in Polen. Dieses grüne Gebiet reicht bis in die Zeiten von Wallenstein zurück, der neben dem Schloss einen Tierpark angelegt hat. Die jetzige Form des Parks wurde im 19. Jahrhundert zu Zeiten der Herzogin Dorothea, durch den Gartenarchitekten Oskar Teichert, gestaltet.