Był on jednym z twórców nowej konstytucji, którą jako tymczasowy administrator kontrasygnował 5 października 1921 r. Natomiast 5 marca 1922 r. Książę mianował go pierwszym premierem. Nie pełnił tej funkcji długo, ponieważ już 27 kwietnia 1922 roku złożył rezygnację ze stanowiska, z powodów zdrowotnych. Rzeczywistym powodem rezygnacji było jednak zwycięstwo Chrześcijańsko-Społecznej Partii Ludowej w wyborach do Landtagu. Partia Ludowa otwarcie krytykowała premiera z powodu jego konserwatywnych poglądów. Ospelt, chcąc uniknąć konfliktu, odszedł ze stanowiska. Nowy rząd prowadzony przez Gustava Schädlera, również skrytykował Josefa już w swoim pierwszym raporcie.
Po rezygnacji udał się do zamku Liechtensteinów w austriackim Mödling, gdzie spędził kilka miesięcy, po czym wrócił do Vaduz, gdzie założył kancelarię prawną. Pracował jako przedstawiciel towarzystwa ubezpieczeniowego z Zurychu w Liechtensteinie. W latach 1930–1932 był deputowanym w Landtagu, z ramienia FBP, a w latach 1930–1953 prezesem sądu krajowego. W latach 1928–1950 Ospelt pełnił funkcję prezesa zarządu Liechtensteinische Landesbank, a potem działał w jego radzie nadzorczej (1950-1957).