Als Herrenhof der "Pisenberger" erwarb 1568 Johann Baptist Weber den Freihof samt dem Dorf Bisamberg. Die alten Gebäude wurden abgerissen und 1586 das Schloss im Renaissancestil errichtet. Ursprünglich war es ein dreigeschoßiger Bau mit vier aufgesetzten Ecktürmchen, umgeben von einem Wassergraben, flankiert von zwei Bastionen, vorne über eine Stiege und seitlich über eine Zugbrücke erreichbar. Das Schloss Bisamberg ist heute im Privatbesitz. Der Schüttkasten wurde von der Gemeinde erworben und zu einer Veranstaltungshalle umgebaut.