W ołtarzu głównym umieszczono postać Matki Bożej z Dzieciątkiem.
W klasztorze w Cytowianach został pochowany jego fundator, na nagrobku którego zachowała się figura rycerza, co czyni go jednym z oryginalniejszych pomników nagrobnych na Litwie. Inni członkowie rodziny Wołłowiczów byli chowani w podziemiach kościoła. Wśród innych grobów zachowanych w klasztorze znajduje się nagrobek Krzysztofa i Andrzeja Kotowskich, księżny Anny Druckiej-Horskiej, marszałka Michała Steckiewicza oraz Antoniego Burby.
Z kościołem Najświętszej Maryi Panny łączy się dwukondygnacyjny budynek mieszkalny z celami zakonników, tworzący zamknięty czworobok z dziedzińcem. Na pierwszej kondygnacji klasztoru zachowała się dekoracja malarska. Drugi, większy dziedziniec znajdował się przed wejściem do kościoła klasztornego. W latach 1772–1779 otoczono go galerią arkadową, w której następnie ustawiono stacje Drogi Krzyżowej, zaś w 1824 na jej sklepieniach pojawiły się freski M. Sobolewskiego. W centralnym miejscu dziedzińca w 1775 zbudowano kaplicę Męki Pańskiej, wzniesioną na planie prostokąta, z bogato zdobionym frontonem i czworoboczną wieżyczką.