1401 erwarb Herzog Friedrich IV. das Haus im Tauschwege. Ende des 15. Jahrhunderts, als Kaiser Maximilian I. die Burg mit prächtigem Hofleben erfüllte, hatte das Gebäude bereits die Ausdehnung der heutigen Kaiserlichen Hofburg zu Innsbruck. Kaiserin Maria Theresia ließ die Hofburg in zwei Bauphasen zu einer monumentalen spätbarocken Residenz umbauen. Zu den zahlreichen, mit wertvollem Mobiliar und Gemälden ausgestatteten Schauräumen gehört der Riesensaal, der als der prächtigste Fest- und Zeremoniensaal der Alpenregion gilt.