Mnisi nie mogąc ścierpieć, że ich poddani, głównie bogaci kamieniarze z klasztornych kamieniołomów marmurów, obracają się w jej towarzystwie uważali, że zamiast odbywać grzeszne wizyty u niej, mogli posiedzieć w klasztornej karczmie przy piwie. Mnisi narzekali, że ich poddani zamiast trunku przystojnego i posiedzenia uczciwego, kartami się o pieniądze bawią. Hazardzistów karano surowo – wymierzano im po 30 postronków plag w obecności gromady.
W 1644 roku doszło do gorszącego, wieloletniego procesu pomiędzy karmelitami z Czernej a plebanem w Paczółtowicach o kamieniołom marmuru w Dębniku. Pustelnicy nie chcieli się zgodzić na darowizny tamtejszych mistrzów kamieniarskich dla plebana. Przeor karmelitów o. Ksysus, wtargnął do domu mistrza i ukradł dobytek, by on nie trafił na paczółtowską plebanie. Aż do roku 1805 klasztor był pustelnią i wierni nie mieli do niego wstępu. Po wyłączeniu kościoła spod klauzury Czerna stała się miejscem kultu św. Rafała Kalinowskiego i Matki Boskiej Szkaplerznej, której obraz znajduje się w kościele. Kościół pobierał dziesięciny, meszne i inne opłaty. Na tym tle często dochodziło do krwawych konfliktów, zwłaszcza gdy ktoś był biedny, a pleban bezwzględnie żądał należności.