Das Haus hatte universale Aufgaben zu erfüllen: Es war nicht nur Krankenhaus, sondern auch Altenheim, Waisenhaus und Treffpunkt der Bettler. Im alten Spital, das 1659 umgebaut wurde, befanden sich sogar einige Gefängnisse, die man früher Blockhäuser oder Keuchen nannte.
Die Bedeutung des Spitals drückte sich auch in der Besoldung des Spitalmeisters aus. Er bekam 24 Pfund Heller, während der Bürgermeister nur 20 Pfund erhielt.
Durch Stiftungen und Käufe gehörten dem Spital viele Höfe und Wälder. Die Lebensmittel wurden aus eigener Landwirtschaft gewonnen. Verarmte Waldseer dienten in der Spitalsmeierei als Knechte und Mägde. Das Spital war autark, es hatte eine eigene Mühle, einen eigenen Bäcker, Metzger und Schmied. Wenn gemeinnützige Gebäude entstanden, gab das Spital den helfenden Bürgern als Entlohnung "Essen und Trunk". Das Spital musste auch einspringen, wenn in Notzeiten der Stadtverwaltung das Geld ausging. Die Armen konnten immer damit rechnen, dass sie im Spital mit einem Löffel voll Hafermus gespeist wurden. In vielerlei Hinsicht wirkte das Spital stabilisierend, nur einmal gingen ihm selbst die Kräfte aus. Das war in der Notzeit des Dreißigjährigen Kriegs, als durch die Pest die Höfe verwaisten. Damals konnte das Spital noch nicht einmal das Saatgut für die Sommerfrucht beschaffen. Da verkaufte die Stadt das zum Rathaus gehörende Silbergeschirr um dem Spital helfen zu können. Zur gleichen Zeit wurde der Spitalbäcker verurteilt, weil er Brotlaibe veruntreut hatte.
Die neugotische Schaufassade samt Glockentürmchen bekam das Spital erst 1856 durch Bauinspektor Pfeilsticker. 1885 wurde die Fassade von H. Kolb bemalt, die 1978 restauriert wurde.
Zum Beten kann man sich in der Spitalkapelle noch immer an zwei Nothelfer aus dem 15. Jahrhundert wenden: die heilige Barbara und die heilige Katharina aus der Werkstatt des Niklas Weckmann aus Ulm.
