Каменныя кляштарныя будынкі і касцёл былі ўзведзены ў 1736-1765 гг. трохнефны Касцёл Узвышэння Святога Крыжа быў звернуты алтаром на захад, а яго фасад упрыгожаны статуямі і галерэяй з каванымі рашоткамі.

Кармеліцкі манастыр праіснаваў да 1845 года, затым ён быў скасаваны, а Будынкі перададзены ваеннаму ведамству. У 1881 годзе яны перайшлі ва ўласнасць горада для прылады казармаў. У пачатку 1901 года ў сувязі з заменай спасылкі ў Сібір турэмным зняволеннем перад расійскімі ўладамі паўстала пытанне будаўніцтва новых турмаў, і адна з іх павінна была адкрыцца ў Гродзенскай губерні. Выбар упаў на будынак былога кармеліцкага касцёла. Але ў 1902 годзе будынак было прызнана непрыдатным для прылады турмы. У 1904–1906 гадах па праекце Гродзенскага губернскага інжынера у. Небальсіна з былога кармеліцкага Касцёла і кляштара былі ўладкованыя казармы Гродзенскага прыгоннага батальёна. Пры гэтым разабралі касцёл з яго цудоўным фасадам да самых скляпенняў крыпты. Так назаўжды знік унікальны помнік позняга беларускага барока, адзін з непаўторных архітэктурных ансамбляў Гродна. Сёння тут знаходзіцца офіс» Прыёрбанка", а ў былых казармах – жылы дом.