Początkowo zespół klasztorny składał się tylko z Pustelni Brata Alberta i kaplicy klasztornej. Wybudowane zostały w stylu zakopiańskim z bali drewnianych na wysokiej podmurówce kamiennej. Są proste w formie, ze względu bowiem na obowiązującą w regule albertynów surowość i prostotę Witkiewicz zrezygnował w tym jednym przypadku z typowych dla swojego stylu ozdobników. Cały zespół został ogrodzony wysokim płotem drewnianym. Budowę zakończono w 1902, jednak bracia albertyni przenieśli się gdzie indziej – do klasztoru Albertynów na Śpiącej Górze (też na Kalatówkach), ten zaś obiekt ofiarowali siostrom albertynkom.
Po przejęciu obiektu zamieszkało w nim 7 sióstr albertynek oraz brat Albert, który modlił się w swojej pustelni, a mieszkał w niewielkiej drewnianej celi obok pustelni. Albertynki przebywały w ścisłej klauzurze. Oprócz stale tu przebywających sióstr przybywały na odpoczynek i regenerację sił albertynki pracujące w przytułkach dla bezdomnych.