Filip i Elżbieta nie mieli razem dzieci. W 1175 r. Filip odkrył, że żona go zdradza z niejakim Walterem de Fontaines. Krewki hrabia pobił kochanka żony na śmierć, ale z Elżbietą się nie rozwiódł. Uzyskał natomiast od króla Ludwika VII bezpośredni zarząd nad ziemiami swojej żony. Ponieważ jego młodsi bracia, Mateusz i Piotr, zmarli bezpotomnie, w 1177 r. Filip wyznaczył swoimi spadkobiercami siostrę Małgorzatę i jej męża Baldwina.
W tym samym roku Filip wyruszył do Królestwa Jerozolimskiego, z nadzieją na udział w wyprawie przeciwko Egiptowi, w sojuszu z Cesarstwem Bizantyjskim. Bizantyjska flota stała już w Akce, kiedy 2 sierpnia Filip przybył do Outremer. Hrabia był ciotecznym bratem króla Jerozolimy Baldwina IV (matka Filipa i ojciec Baldwina byli przyrodnim rodzeństwem). Chory na trąd Baldwin chciał przekazać Filipowi (jako swojemu najbliższemu męskiemu krewnemu) regencję nad Królestwem i dowodzenie armią chrześcijańską. Filip odmówił jednak przyjęcia tych zaszczytów, twierdząc, że jest tylko skromnym pielgrzymem.