Seit der Säkularisation Anfang des 19. Jahrhunderts wird das ehemalige Benediktinerkloster Schloss genannt. Es beherbergt heute in der Kunsthalle Werke von Friedrich Hechelmann sowie die Städtische Gallerie mit innovativen Ausstellungskonzepten.
Ende des 11. Jahrhunderts gründeten Mönche des Benediktinerordens in Isny eine Benediktinerabtei, die bis zur Säkularisation bestand. Und was wird aus repräsentativen Gebäuden, wenn sie dem weltlichen Einfluss unterliegen? Kurzum ein Schloss. So geschehen Anfang des 19. Jahrhunderts in Isny. In den Jahrhunderten seines Bestehens hatte das Kloster viele Auf und Ab erlebt, insbesondere mehrere Brände setzen dem Betrieb zu. Einem beginnenden wirtschaftlichen Einfluss wurde durch die Säkularisierung ein jähes und entgüldiges Ende gesetzt. Die Anlage ging mit Beginn des 19. Jahrhunderts in gräflichen Besitz über und diente als Familienresidenz. 1942 wechselten die Besitztümer erneut: das Schloss wurde zu einem Krankenhaus umfunktioniert, später diente die Anlage als Klinik und Pflegeheim. Mit deren Schließung stand dem einstigen Konventgebäude eine fragwürdige Zukunft bevor. Seit Mitte der 1990er Jahre sorgt eine private Stiftung für Erhalt und Zukunft der barocken Gebäude. Einen Besuch lohnen die hier untergebrachte Kunsthalle, die Städtische Galerie sowie das ehemalige Refektorium.