W 1159 r. poślubił Elżbietę (1143 – 28 marca 1183), córkę Raoula I z Vermandois i Petroneli, córki Wilhelma X Świętego, księcia AkwitaniiE. Brandenburg, Die Nachkommen Karls des Großen, Leipzig 1935, s. 45, podaje, że pierwsza żona Filipa nazywała się Izabela (Mabilla).. W 1167 r. Elżbieta odziedziczyła po śmierci swoich braci ziemie Vermandois i Valois. Filip został iure uxoris panem tych terenów. W 1168 r. został, po śmierci swojego ojca, hrabią Flandrii, będąc już od wielu lat jej współwładcą. Dzięki swojemu małżeństwu stał się najpotężniejszym panem w północnej Francji.

Jego głównym doradcą był Robert d'Aire. Usprawniono działanie administracji państwowej. Filip zyskał również wielki szacunek na arenie międzynarodowej i często pełnił rolę arbitra w różnych konfliktach (np. między królem Francji Ludwikiem VII a królem Anglii Henrykiem II, czy między Henrykiem II a arcybiskupem Canterbury Thomasem Becketem). Przyczynił się również do małżeństwa swojej siostry Małgorzaty z hrabią Hainaut Baldwinem V.