Od roku 1830 wszystkie budynki klasztornego zespołu przeznaczono na więzienie; celom religijnym służyć już miała tylko kopułowa kaplica św. Leonarda. Aby przystosować poklasztorne budynki do nowej funkcji, konieczne było dokonanie szeregu zmian. Przede wszystkim konieczne było utrudnienie wydostania się więźniów z terenu więzienia, gdyż w odróżnieniu od zakonników, nie przebywali tu przecież z własnej woli. Wymagało to podniesienia murów, założenia krat i odpowiednio mocnych bram, a także zatrudnienia licznej rzeszy strażników, dla których potrzebne były wyodrębnione ;pomieszczenia. Rozszerzeniu uległy też funkcje: gastronomiczna (kuchnie) i sanitarna (latryny), bo liczba osób przebywających na terenie poklasztornym zdecydowanie wzrosła. Formy architektoniczne tych przeróbek nie były jednak na tyle interesujące, by szczegółowo je opisywać. Zresztą zmiany nie były jednorazowe – przez cały okres pełnienia przez dawny klasztor więziennej funkcji wykonywano różne prace budowlane. Na przykład w latach 80. XIX wieku autorem projektu przebudowy był Julian Zychowicz, pomocnik architekta gubernialnego, odznaczony prze carskie władze orderem św. Stanisława i św. Anny – miejmy nadzieję, że nie za ten właśnie projekt.
Więzienie istniało tu blisko sto lat – w tym czasie, prócz zwykłych kryminalistów, więzieni i torturowani byli tu patrioci, uczestnicy powstań listopadowego i styczniowego. Kiedy w roku 1927 więzienie zlikwidowano (na mocy konkordatu z roku 1925) obiekty miały powrócić do franciszkanów. Jakoś do tego nie doszło – do wybuchu wojny mieściły się tu sąd, szkoła a nawet klub Związku Strzeleckiego. Podczas okupacji zespół klasztorny użytkowała Luftwaffe, wykorzystując na cele magazynowe, choć są podobno świadkowie, którzy wspominają, ze niemieccy kapelani odprawiali w kościele msze. Po wypędzeniu Niemców Armia Czerwona w obiektach klasztornych zorganizowała bazę dla „trofiejnych” krów, przepędzanych z Niemiec do Rosji.
Po II wojnie światowej, przez cztery lata, dawne obiekty klasztorne, a wówczas powięzienne, remontowano by potem przeznaczyć je na przeróżne cele: ulokowano tu zakład produkcyjny, miejską łaźnie, magazyny. W niektórych przypadkach, nawet nie zmieniano ich funkcji – jak na przykład w odniesieniu do więziennej łaźni, usytuowanej w południowo-zachodnim narożniku zespołu klasztornego. Obiekt, zbudowany dla utrzymania higieny wśród więźniów, bardzo łatwo dał się wykorzystać jako obiekt komunalny. Wystarczyło uczynić go dostępnym od zewnątrz, a nie tylko z klasztornego dziedzińca. Powięzienna łaźnia przez wiele lat służyła mieszkańcom miasta. Przestała działać, gdy w roku 1962 zapadła decyzja o przekształceniu zespołu poklasztorno-powięziennego na kompleks turystyczno – gastronomiczny. Roboty rozpoczęto w roku 1966, jakby na ironię, dokładnie w roku Tysiąclecia Chrztu Państwa Polskiego. W klasztorze powstał hotel, w kościele restauracja. Pierwsze protesty ludności, żądającej przywrócenia obiektów poklasztornych franciszkanom miały miejsce w roku 1980, tuż po powstaniu „Solidarności”. Stan wojenny zatrzymał te starania na lat 9. Wznowiono je, i w roku 1991 nastąpił historyczny moment: zespół kościoła i klasztoru powrócił do zakonu franciszkanów, do prawowitych właścicieli.