Das Museum befindet sich im sogenannten Narrenturm. Der Narrenturm wurde 1784 unter Kaiser Josef II errichtet.
Das Gebäude wurde als erstes psychiatrisches Krankenhaus erbaut. 1866 wurde der Betrieb eingestellt und der Rundbau als Schwesternwohnheim, für Ärztedienstwohnungen, als Depot von Universitätskliniken und Werkstätten genutzt. Seit 1971 ist das Pathologisch-anatomische Bundesmuseum im Narrenturm untergebracht. Seit 1993 wird das gesamte Gebäude als Museum genutzt.