Kurz bevor die Reichsstadt ihre Selbstständigkeit verlor und unter die Oberhoheit des Kurfürsten von Bayern kam (1803), wurde 1789 neben dem Frauentor das Ritterhaus als Kanzlei des Bezirks Allgäu-Bodensee der Reichsritterschaft nach Plänen von Franz Anton Bagnato erbaut. Beachtenswert sind Fassade und Portal zur Herrenstraße.