Krzyżowcy po niezbyt zaciętych bojach zmusili w lipcu 1203 roku Aleksego III do ustąpienia a na tron powrócił Izaak II Angelos a jego syn Aleksy został koronowany na współcesarzaGotfryd z Villehardouin, Memoirs or Chronicle of The Fourth Crusade and The Conquest of Constantinople.Robert z Clary. La Conquête de Constantinople, edycja Philippe Lauer, 1924..
Między Aleksym IV a Wenecjanami i krzyżowcami doszło jednak do rozłamu. Jego przyczyną był spór o pieniądze obiecane przez Angelosa w zamian za pomoc w odzyskaniu tronu. W momencie objęcia władzy cesarz zastał skarb pustym i nie miał możliwości aby szybko pozyskać środki na zapłatę. W wyniku problemów wewnętrznych Aleksy IV został obalony i zabity a jego ojciec zmarł z powodu chorób. Władzę objął Aleksy V, który był jednym z przywódców stronnictwa antyłacińskiego i kategorycznie odmówił krzyżowcom zapłaty obiecanej im przez poprzednika. W kwietniu 1204 roku doszło do walk i nowego oblężenia Konstantynopola, tym razem gorszego w skutkach dla miasta i jego mieszkańców. Już miesiąc wcześniej przywódcy wyprawy i Wenecjanie uzgodnili swoje cele i podjęli decyzję iż opanują ziemie cesarstwa narzucając Grekom swoją władzę.