Von 1910 bis 1913 errichtete Theodor Fischer an der Stelle des Lusthauses das Kunstgebäude, dessen Kuppel mit einem vergoldetem Hirsch gekrönt wurde. Das Bauwerk wurde im Zweiten Weltkrieg erheblich beschädigt. 1956 bis 1961 wurde es nach Plänen von Paul Bonatz und Günter Wilhelm wiederaufgebaut.