W 1953, po kolejnych przedterminowych wyborach, został powołany jego trzeci rząd, również w ramach koalicji z Malta Workers Party. Wybory parlamentarne w 1958 wygrała Partia Pracy, a George Borg Olivier został liderem opozycji. Przewodniczył delegacji Partii Narodowej na rozmowy z rządem brytyjskim dotyczące autonomii Malty.
W 1962 Partia Narodowa wygrała przeprowadzone po kilkuletnim kryzysie wybory parlamentarne. George Borg Olivier uzyskał wówczas ponownie mandat poselski, który utrzymywał w 1966, 1971 i 1976. 5 marca 1962 po raz czwarty został premierem, obejmując także tekę ministra gospodarki i finansów. W lipcu 1963 przewodniczył maltańskiej delegacji na konferencję ds. niepodległości Malty. 21 września 1964 Malta ostatecznie uzyskała niepodległość, pozostając we Wspólnocie Narodów.
W 1964 otrzymał z rąk papieża Pawła VI Order Świętego Sylwestra oraz Order Piusa IX, został także doktorem honoris causa Uniwersytetu Maltańskiego. W marcu 1965 w swoim gabinecie objął dodatkowo stanowisko ministra spraw zagranicznych.