Mimo to nie odzyskał ojcowizny, co było początkiem konfliktu między Witoldem a Skirgiełłą.
Unia w Krewie Nie roztrząsając kwestii, kto był inicjatorem rozmów polsko-litewskich, Skirgiełło jako zaufany współpracownik Jagiełły odegrał w realizacji tych rozmów znaczącą rolę.
W roku 1384 miał wziąć udział razem z braćmi Jagiełłą i Witoldem w rozmowach z księciem moskiewskim Dymitrem Dońskim dotyczącym ewentualnego mariażu Jagiełły z Zofią Dymitrówną i jego chrzest w obrządku wschodnim.
Historycy różnie określają, kiedy dokładnie rozpoczęto rokowania. Niektórzy wskazują na rok 1383 – misja dyplomatyczna na Litwę miała być skutkiem rozmów prowadzonych wówczas w Sieradzu. Jest to jednak mało prawdopodobne, gdyż w Polsce nadal panowało bezkrólewie, a królewna Jadwiga nadal przebywała na Węgrzech pod opieką matki.
W październiku 1384 roku na koronacji Jadwigi obecny miał być wielki książę litewski, identyfikowany właśnie jako Skirgiełło. Jednak niektórzy historycy (B. Wyrozumska a za nią J. Nikodem) podważają obecność któregokolwiek z litewskich książąt na koronacji w 1384, uznając tę wzmiankę za dotyczącą w rzeczywistości roku 1386.