Osadzony został także na tronie Pskowa, którego jednak nie utrzymał.

Po śmierci Olgierda Po śmierci ojca i przejęciu władzy nad Litwą przez Jagiełłę, Andrzej zbiegł do Pskowa i ponownie objął w nim władzę, uznając zwierzchność wielkiego księcia moskiewskiego Dymitra Dońskiego. W umowie między nimi Andrzej określany jest jako Wielki Książę, co biorąc pod uwagę, że książęta pskowscy ani połoccy takiego tytułu nigdy nie używali, oznacza prawdopodobnie uznanie przez Moskwę praw Andrzeja do władzy nad Wielkim Księstwem Litewskim. Być może dowodził prawym skrzydłem (tzw. pułkiem prawej ręki) wojsk ruskich w bitwie nad Wożą. Z pewnością zaś uczestniczył w moskiewskim najeździe na Litwę w roku 1379. W następnym roku podczas bitwy na Kulikowym Polu dowodził prawym skrzydłem wojsk ruskich i według niektórych historyków (m.in. Wasilij Tatiszczew) w znacznym stopniu przyczynił się do zwycięstwa wojsk moskiewskich. W 1381 roku został kniaziem Połocka, po buncie tego miasta i przegnaniu Skirgiełły. W roku 1387 został wzięty do niewoli przez Jagiełłę i uwięziony w Chęcinach.