Die dreigeschossigen Arkaden und die reiche Stuck- und Reliefausstattung des Schlosses brachten ihm das Prädikat „Schönster Renaissancebau nördlich der Alpen“ von seiten der Kunsthistoriker ein. 1662 erwarben die Fürsten von Porcia die Grafschaft und verwalteten diese bis 1918. Seit 1951 ist das Schloss im Besitz der Stadtgemeinde Spittal, die das Gebäude der Öffentlichkeit zugänglich machte und als kulturellen Mittelpunkt der Stadt etablierte.