Die Landsassen zu Altenstadt bewohnten das aus dem 10. Jahrhundert stammende Schlösschen.
1529 kaufte Nikolaus Haubner das Anwesen von Jorg dem Pleysteiner. In unserer Kirche befinden sich noch heute von Ihm und seinen Nachkommen zwei guterhaltene Grabsteine. Ihr Wappen war einst über dem Haupteingang des “Schlösschens” zu finden. Heute ist es über dem Eingang der Schlosswirtschaft angebracht.
1626 verkaufte ein Nachkomme names Johann Haubner das adelige Gut an Johann Hopfner, einem Ratsbürger von Vobendrazze. Als dieser 1637 starb, verweigerte sein Sohn Michael das Erbe und somit wurde es 1640 an Stefan Schwab verkauft.
Es ging später in den Besitz der Familie Weishäupl über, die schon damals eine Metzgerei und eine Gastwirtschaft eröffneten.
Das Gut wurde später von Lorenz Mühlhofer erworben. Auf diesen folgte Salomon Mühlhofer, der Großvater von Friedrich Höllerer. Salomon Mühlhofer ließ im Sommer 1924 das alte Schloss abreißen und baute eine neue Gastwirtschaft und Metzgerei.
Am 1. April 1957 zerstörte ein Großbrand den Gasthof, der noch im gleichen Jahr wieder aufgebaut wurde.
Im Jahre 1999 übergab der “Schlosswirts-Fritz” an seinen Sohn Wolfgang (bereits in der 5. Generation), in dessen Besitz sich der Gasthof heute noch befindet.
Das um 1709 entstandene Wirtshausschild aus Schmiedeeisen ist heute noch an der Gastwirtschaft “Schlosswirt” angebracht.