Miał dwie starsze siostry – Ragnhildę (1930–2012) i Astrid (1932–2026). Mimo że Harald był najmłodszym z rodzeństwa, zajął drugie miejsce w linii sukcesji do norweskiego tronu, za swoim ojcem. Ówcześnie bowiem nie dopuszczano kobiet do dziedziczenia tronu.
Młodość, edukacja i status następcy tronu thumb|left|Książę Harald w 1952 roku Dzieciństwo Haralda w Norwegii upływało spokojnie aż do II wojny światowej. Gdy wojska niemieckie zaatakowały Norwegię 9 kwietnia 1940 roku, rodzina królewska i rząd uciekli na północ pociągiem, aby uniknąć aresztowania przez siły okupacyjne, natomiast Marta Bernadotte tej samej nocy uciekła z Haraldem i jego siostrami do Szwecji, a następnie, 12 sierpnia tego roku cała czwórka udała się do Stanów Zjednoczonych na zaproszenie prezydenta Franklina Delano Roosevelta. Do końca II wojny światowej książę Harald mieszkał z matką i siostrami w Pook’s Hill niedaleko Waszyngtonu.