Stosunki z fatymidzkimi suzerenami były zmienne – w 1016 tysiące szyitów straciło życie w buncie w Ifrikiji, a Fatymidzi sprzyjali odłączeniu się Trypolitanii od Zirydów, tym niemniej stosunki pozostały bliskie. W 1045 Zirydzi oderwali się całkowicie przez uznanie Abbasydów z Bagdadu jako prawowitych kalifów.

Fatymidzi wysłali beduińskie plemiona Banu Hilal i Banu Sulajm do Ifrikiji. Berberyjskie wojska uciekły, Zirydzi zostali pokonani, a kraj spustoszony przez Beduinów. W wyniku anarchii zniszczono kwitnące dotąd rolnictwo. Nadmorskie miasta nabrały nowego znaczenia jako droga dla handlu morskiego i baza dla działań pirackich przeciw chrześcijańskim statkom.

Po utracie Kairuanu (1057) rządy Zirydów ograniczyły się do nadbrzeżnego pasa z Al-Mahdijją jako stolicą, podczas gdy w głębi lądu powstało kilka beduińskich emiratów. Między 1146 a 1148 Normanowie z Sycylii podbili wszystkie nadbrzeżne miasta, a w 1152 ostatni Zirydzi w Algierii zostali zastąpieni przez Almohadów.