Das Gebäude beherbergte Gesellschaftsräume, eine Schänke mit Kegelbahn und einen prächtig ausgestatteten Festsaal für Abendveranstaltungen, Bälle und Konzerte. Auch heute finden dort regelmäßig Veranstaltungen statt.
1994 erteilte das Fürstenhaus den Architekten August und Agnes Moschkon den Planungsauftrag zur Restaurierung, sowie zum Umbau und Erweiterung des historischen Museumsgebäudes. Das so neu entstandene Schulungs- und Tagungszentrum der Hohenzollerischen Landesbank »Hofgarten« wurde 1997 eröffnet.
Der Name »Hofgarten« rührt vom Standort des Gebäudes im ehemaligen fürstlichen Hofgarten her, der im 16. Jahrhundert angelegt worden war.
