1408 als Pilgerherberge von dem Patrizier Frick Holbain gestiftet. Die hier für eine Nacht aufgenommenen Pilger, für die 21 Betten zur Verfügung standen, hatten für das Seelenheil der Stifterfamilie zu beten, daher der Name des Gebäudes. Dem Seelhaus gehörten zahlreiche Höfe auf dem Land, aus deren Erträgen Almosen an die Armen verteilt wurden.
In der Barockzeit erfolgte die Neugestaltung der Giebel und 1984 eine komplette Renovierung.
Auch heutzutage kann im Seelhaus gebetet werden, da sich im 2. OG das Gebetshaus befindet.
