Kościół klasztorny Podwyższenia Krzyża Świętego jest znanym miejscem kultu św. Franciszka z Asyżu . W kościele przyklasztornym zachowało się barokowe wyposażenie wnętrza z lat 1742-1745 (siedem ołtarzy, ambona z baldachimem z figurą św. Bonawentury, stalle w chórze zakonnym). W nawie głównej znajduje się rokokowe epitafium Mikołaja Swinarskiego, sędziego kapturowego wałeckiego z końca XVIII w.

Kościół i Klasztor na Goruszkach pochodzi z lat 1739-1742. Budowle postawiono dla zakonu reformatorów sprowadzonych w 1622 roku przez Adama Olbrachta Przyjemskiego. Osadzono ich przy kaplicy Św. Krzyża, położonej za miastem, na wzniesieniu zwanym Goruszki. Kościół p.w. Św. Krzyża jest jednonawowy, całkowicie podpiwniczny. W piwnicach mieszczą się tzw. kościół dolny i kaplica Grobu Św. Franciszka. W kościele górnym jest 7 ołtarzy. W ołtarzu głównym znajduje się cenny krucyfiks z pierwszej połowy XVII w., a przy kolumnach – rzeźby Matki Boskiej Bolesnej, św. Jana Ewangelisty, św. Franciszka z Asyżu i św. Konrada z Placencji. W sześciu ołtarzach bocznych obejrzeć można liczne rzeźby i obrazy. Ambona, konfesjonały i ławki pochodzą z XVIII w. Na chórze zakonnym na uwagę zasługują stale późnobarokowe oraz duży krucyfiks z początku XVII w. W krużgankach klasztornych o sklepieniach kolebkowo-krzyżowych umieszczono szereg obrazów, m in.: Ukrzyżowanie, z klęczącą postacią malarza oraz Zdjęcie z Krzyża, kilka rzeźb od XV do XVIII w. oraz portrety trumienne. W okresie okupacji hitlerowcy zorganizowali w klasztorze więzienie, stanowiące oddział więzienia w Rawiczu. Kilkuset pomordowanych pochowano wokół kościoła. Ich pamięć uczczono pomnikiem w postaci dużej betonowej płyty nagrobkowej, za :