Das markante Gebäude am Marktplatz wurde von dem Kaufmann Onofrius Hinderofen, einem Mitglied der "Ravensburger Handelsgesellschaft", im Jahre 1542 erbaut, drei Jahre nach der verheerenden Feuersbrunst, die den größten Teil der Oberstadt in Asche gelegt hatte. Das Äußere des hoch aufragenden Renaissancebaus zeigt schlichte, aber kraftvolle Konturen. Der ungewöhnliche Bau deutet in seiner Art auf italienische Verwandtschaft. Besonders reizvoll ist der kleine Innenhof, der ebenfalls an südliche Vorbilder erinnert.
Das Haus wurde 1582 von der Stadt erworben, diente verschiedenen Zwecken, unter anderem dem Konvent der Kapuziner und als städtisches Kanzleigebäude. 1803 kam das Haus an Bayern, in der Folge an Württemberg. Es war Sitz des Oberamtes und des Landratsamtes bis zur Kreisreform 1972. Danach diente das Gebäude als Finanzamt. 1996 konnte die Stadt das historische Gebäude vom Land Baden-Württemberg zurückkaufen.
Im 1. und 2. OG befindet sich eine Dauerausstellung mit 34 Exponaten aus der Epoche des in Wangen verstorbenen Künstlers Prof. Wolfgang von Websky. Die Galerie kann während der Besuchszeiten kostenfrei besichtigt werden.
