Dziad Józefa Bema – Wojciech uzyskał tytuł szlachecki, był rajcą miejskim oraz konsyliarzemPojęcia zbliżone: w I Rzeczypospolitej „konsyliarz” – urzędnik jednego z departamentów Rady Nieustającej, zob też konsyliarz konfederacji. króla polskiego Stanisława Augusta Poniatowskiego. Ojciec natomiast pracował w radzie miejskiej miasta Lwowa. W 1792 r. przeniósł się do Tarnowa gdzie był adwokatem w tarnowskim sądzie szlacheckim oraz nauczycielem matematyki. Przed 1790 r. ożenił się z Agnieszką Głuchowską (zapis Gołuchowska pojawia się jedynie w Tarnowie), z którą miał dwóch synów – Jana i Józefa i cztery córki: Domicelę, Katarzynę, Małgorzatę i Julię. Agnieszka Bem, matka Józefa zmarła w 1804 r. w Krakowie. Ojciec ożenił się ponownie w 1807 r. z Marianną Ostafińską.
W 1810 r. Andrzej Bem przeniósł się do Słabkowic – wsi wchodzącej w skład Ordynacji Myszkowskich. W 1812 r. kupił dobra ziemskie składające się z wsi Słabkowice i SkorzówŚwiętokrzyska Biblioteka Cyfrowa w Kielcach, Dalszy ciąg rozpraw nad sprzedażą dóbr z ordynacji Myszkowskich, Warszawa 1827. t. 2, s. 84.. Zamieszkał w Słabkowicach w zbudowanym przez siebie dworze, a dobra ziemskie Skorzów w 1818 roku sprzedał Janowi Olrychowi Szanieckiemu. W Słabkowicach ojciec generała Bema zamieszkał z drugą żoną Marianną Ostafińską oraz dziećmi.