W 1680 r. w Zarębach istniała szkoła żydowska, wyznaczono też miejsce na kirkut. Na początku XVIII wieku miejscowość otoczona była przez liczne zaścianki szlacheckie i nabrała charakteru miasteczka z uwagi na oddalenie od większych skupisk miejskich. Dzięki staraniom Szymona Zaremby, sędziego ziemskiego sieradzkiego, w 1761 sprowadzili się tu Franciszkanie reformaci, którzy w latach 1765–1774 wznieśli tutaj kościół i klasztor. Kościół konsekrowano w 1792 r. Po III rozbiorze Polski w 1795 miejscowość znalazła się w zaborze pruskim, a w latach 1807–1815 w granicach Księstwa Warszawskiego, a później w Królestwie Kongresowym. thumb|left|Budynek przystanku kolejowego thumb|left|Tablica upamiętniająca 150. lecie powstania styczniowego
W 1862 r. o 3 km od miejscowości poprowadzono linię kolejową warszawsko-petersburską, co wpłynęło na ożywienie gospodarcze regionu. Rozwinął się tu głównie przemysł drzewny. Wskutek represji władz zaborczych po powstaniu styczniowym nastąpiła w 1866 likwidacja zakonu. Zakonnicy zostali wywiezieni do Pińczowa, kościół klasztorny zamieniony na parafialny, a zbiory biblioteczne przejęło Seminarium Duchowne w Płocku. W 1881 spłonął stary kościół, odbudowany w latach 1882–1900. Na początku XX wieku powstały tu budynki poczty, szkoły, młyn parowy i biblioteka publiczna.