W tym czasie Karol I zwrócił już swoją uwagę w inną stronę. Po śmierci despotesa południowego Epiru Gjin Bua Spaty w 1399 roku, jako spadkobierca Mikołaja Orsiniego, wysunął pretensje do władzy nad Epirem. Opór próbował mu stawić syn i następca zmarłego Maurycy Bua Spata, jego siły okazały się jednak zbyt słabe. Do 1408 roku Karol zajął Akarnanię, wypierając z niej oddziały albańskie. Po śmierci Esau Buondelmontiego opanował w 1411 roku północny Epir z Joaniną. Wreszcie w 1414 roku przy pomocy Turków zdobył Artę, jednocząc w ten sposób po raz ostatni cały Epir. W 1415 roku cesarz Manuel II Paleolog przebywający w Morei nadał Karolowi tytuł despotesa.
Pod koniec panowania w 1427 roku Karol I poniósł klęskę w bitwie morskiej nieopodal Patras z siłami cesarza Jana VIII Paleologa. Został zmuszony do ugody: ofiarował rękę swej bratanicy Teodory Magdaleny despotesowi Morei Konstantynowi, późniejszemu cesarzowi Konstantynowi XI. Jako wiano przekazał jej rok później resztki swych posiadłości na Peloponezie.