У кіламетры ад вёскі Пустынкі знаходзіцца ўнікальны помнік архітэктуры XIV стагоддзя – Успенскі манастыр. Заснавальнікам манастыра з'яўляецца сын вялікага князя Альгерда Лугвень, які з хрышчэннем прыняў імя Сімяон.

Існуе легенда, згодна з якой дзясяты сын Альгерда стаў губляць зрок. Праз некаторы час Лугвеню прысніўся сон, у якім незнаёмы старац паведаміў спадчынніку вялікага князя, што вылячэнне можна атрымаць ад пустынскай крыніцы. Сімяон доўга не мог знайсці цудатворную крыніцу, але калі святое месца было знойдзена, князь адразу ж абмыў у ім твар. Пасля гэтага да яго вярнуўся зрок. Акрамя таго, у ліпавым бары каля крыніцы адбылася з'ява іконы маці Божай. У гонар цуда Сімяон вырашыў заснаваць побач з Пустынкамі кляштар, што і было зроблена ў 1380 годзе.

У нашы дні вакол старажытнага манастыра маецца мноства пабудоў. Увесь комплекс займае вялікую тэрыторыю, якая была абнесеная сцяной з цэглы. Побач з кляштаром размяшчаўся будынак царквы. Адным з цэнтральных аб'ектаў комплексу з'яўляўся Успенскі сабор. Акрамя таго, былі пабудаваны школа, капліца, званіца, пара гаспадарчых пабудоў і некалькі жылых дамоў. Маюцца звесткі, што на тэрыторыі манастыра была амбулаторыя і бальніца.

На працягу двух стагоддзяў пасля заснавання манастыр займаў месца найбуйнейшага ў сваім родзе на тэрыторыі усходняй Беларусі. З сярэдзіны XVI стагоддзя, калі ў выніку вайны паміж Расіяй і Рэччу Паспалітай, была забіта большая частка манахаў, рэлігійная дзейнасць у ім прыйшла ў заняпад. Пасля заканчэння вайны манастыр і зусім прыйшоў у запусценне. Праваслаўныя манахі вярнуліся ў Пустынкі ў 1839 годзе.

Будаўніцтва Успенскага сабора першапачаткова ішло пад кіраўніцтвам уніятаў і доўжылася сем гадоў, пачынаючы з 1801 года. Царкву Раства Прасвятой Багародзіцы ўзвялі ў 1864 годзе, праз год яна была асвячона. Будынак званіцы, што стаіць асобна, узвялі праз два гады пасля пабудовы царквы. Шатровая званіца мае вышыню амаль у 59 метраў.

Пасля прыходу савецкай улады памяшканні манастыра перасталі выконваць свае непасрэдныя функцыі. У даваенны час тут быў адкрыты дзіцячы дом. У гады Вялікай Айчыннай вайны будынак манастыра, сабора, званіцы і капліцы не пацярпеў. А вось пасляваенны час і ганенні рэлігіі прывялі да таго, што манастыр быў зачынены і разрабаваны, архітэктурны ансамбль, што фармаваўся на працягу стагоддзяў, быў разбураны.

Работы па рэканструкцыі будынка манастыра былі пачаты ў 2003 годзе. Праз два гады ў ім прайшла першая служба. У цяперашні час у манастыры вядзецца актыўная рэлігійная дзейнасць.