W grudniu tego roku Robinson zrezygnował z tytułu mistrza świata. Jego następcą miał zostać zwycięzca turnieju, do którego wyznaczono po dwóch zawodników z Europy i z USA, w tym Olsona. Olson najpierw pokonał Paddy’ego Younga 19 czerwca 1953 w Nowym Jorku, a 21 października tego roku zmierzył się o tytuł mistrzowski ze zwycięzcą drugiego pojedynku, byłym mistrzem świata Randym Turpinem z Wielkiej Brytanii. Walka odbyła się w Madison Square Garden w Nowym Jorku. Turpin przeważał w początkowej fazie walki, ale Olson dominował w drugiej połowie, mając Turpina na deskach w 10. rundzie i zwyciężył na punkty. Po tej walce został wybrany bokserem roku 1953 przez magazyn The Ring.
W 1954 Olson wygrał wszystkie 7 walk, w tym trzy w obronie tytułu: 2 kwietnia w Chicago pokonał na punkty aktualnego mistrza świata wagi półśredniej Kida Gavilana, 20 sierpnia w San Francisco wygrał na punkty z Rockym Castellanim, a 15 grudnia w San Francisco zwyciężył przez techniczny nokaut w 11. rundzie Pierre’a Langlois.