W czerwcu 1785 znalazł się w Warszawie, wraz z innymi uczniami tej szkoły, którzy na mocy testamentu hrabiego Tyzenhauza zostali przekazani pod opiekę królowi Stanisławowi Augustowi.. Pod jego pieczą pracowali jako „Tancerze Narodowi Jego Królewskiej Mości”. Występowali w publicznym teatrze na placu Krasińskich oraz w specjalnych przedstawieniach dla monarchy na Zamku Królewskim i w Łazienkach. Rymiński pracował tu nadal pod kierownictwem swojego francuskiego nauczyciela Le Doux (1785–1789) oraz wybitnego warszawskiego baletmistrza alzackiego pochodzenia, Daniela Curza (1786–1794). Tańczył również w baletach innych znanych choreografów zagranicznych, jak: Jean-Georges Noverre, Charles Le Picq czy Domenico Ricciardi. Według Wojciecha Bogusławskiego: „Bardzo dobre początki, które mu dał pierwszy jego nauczyciel, baletmistrz Le Doux, uczyniły go wkrótce znakomitym tancerzem. Przejąwszy później od przejeżdżającego przez Warszawę sławnego tancerza i baletmistrza Picqa najnowszy naówczas sposób tańcowania, tak się w sztuce swojej wydoskonalił, że po odjeździe Picqa wszystkie jego zastępując role, okazał się istotnie wybornym artystą”..