Das ehemalige Kloster wurde 1514 von Gräfin Helena, Mutter von Georg III. von Waldburg (Bauernjörg) gestiftet. 1717 erfolgte der Einbau einer Rokokokapelle, sie gilt als eine der schönsten Hauskapellen der Welt. 1806 wurde das Kloster säkularisiert und 1863 von den „Armen Schulschwestern von Unserer Lieben Frau“ übernommen. Ab 1936 bauten die Schwestern im Haus das erste Moorbad in Wurzach auf.