We dworze urządzono kaplicę a następnie ochronkę dla dzieci. Ponadto we włościach dworskich znalazło swe miejsce dziewięciomorgowe gospodarstwo rolne. W roku 1921 wylano fundamenty pod kościół. Dzięki staraniom ówczesnego proboszcza, kapłana M. Alojzego Gromulskiego w 1924 r. wystawiono dom parafialny, w którym umieszczono szkołę i ochronkę. W 1928 roku zakończono budowę jednonawowego kościół neogotyckiego, o sklepieniu kolebkowym. Zarówno kościół, jak i dom parafialny, pobudowano z cegły pochodzącej z rozebranego wcześniej dworu Koszutskich. Do dziś w murze prezbiterium kościoła widać jeden z elementów architektonicznych dawnej ich posiadłości.
W tym też okresie przebywało w Kadzidłowej kilka sióstr zakonnych wraz z kapłanem M. Feliksem Anielakiem, który oprócz funkcji duszpasterskich pełnił obowiązki nauczyciela i doglądał gospodarstwa rolnego. Do mariawickiej ochronki i szkoły uczęszczały dzieci i młodzież bez względu na wyznanie i narodowość. Wszystkie uroczystości uświetniała parafialna orkiestra dęta. Kobiety zrzeszone w kole „Templariuszek” organizowały pogadanki o żywieniu i higienie na wsi. Jeździły również do sąsiednich parafii na wystawy dzieł rękodzielniczych. Akademie okolicznościowe i występy przyciągały wiele osób spragnionych przeżyć duchowych.