Zgodnie ze spisem przeprowadzonym w 1715 przez Józefa Brzozowskiego, na Rudzę składało się przeszło 60 zagród. W 1717 na terenie za kościołem zostało utworzone targowisko, na którym odbywał się handel końmi i bydłem. Poza osobami trudniącymi się działalnością handlową, osadę zamieszkiwali także rolnicy oraz rzemieślnicy, zajmujący się m.in. garncarstwem. Zabudowę Rudzy stanowiły obiekty drewniane, co było spowodowane nadaniem Żywcowi przez Komorowskich dużej powierzchni lasów.

W 1790 Kościół św. Krzyża został zsekularyzowany i sprzedany Elżbiecie Wielopolskiej, a do kolejnej jego sprzedaży doszło w 1801. W latach wojen napoleońskich mieścił on koszary, a w 1820 został on na nowo przystosowany do pełnienia funkcji sakralnych przez ks. Franciszka Augustina.

Rudza utrzymała się w większości w niezmiennej formie architektonicznej do czasu II wojny światowej. Ulice na jej terenie wyłożone były owalnymi kamieniami rzecznymi. Znajdowały się tu drewniane budynki o konstrukcji wieńcowej ze ścianami obłożonymi gliną i pobielonymi wapnem. Wąskofrontowe budowle posiadały jedną izbę z alkierzem oraz obszerną sień wyłożoną zwykle dużymi płytami kamiennymi, natomiast szerokofrontowe obiekty były wyposażone w sień, izbę oraz oddzieloną od niej kuchnię.