Gwardziści zdążyli okopać się dookoła portu, zanim 2 Dywizja Pancerna, opóźniona przez francuskie wojska pod Samer, zaatakowała pozycje obronne obsadzone przez Gwardię Irlandzką około godziny 17:00 i wyparła przeciwnika po godzinie walki. Pozycje Gwardii Walijskiej zostały zaatakowane o godzinie 20:00 i ponownie o zmroku, odcinając część ich oddziałów o 22:00. O świcie 23 maja niemieckie ataki zostały wznowione, ostatecznie spychając obrońców z powrotem do miasta. Około 80 lekkich bombowców Royal Air Force wykonywało loty bojowe w celu wsparcia obrońców portu.
Okręty Royal Navy wpływały do portu i wypływały z niego; francuskie i brytyjskie niszczyciele ostrzeliwały pozycje niemieckie, gdy ranni i personel nieuzbrojony zostali ewakuowani drogą morską do Anglii. Po południu 23 maja Luftwaffe zbombardowało port, lecz jej samoloty zostały przechwycone przez myśliwce RAF-u. O 18:30 20 Brygadzie Gwardii nakazano ponowne wejście na pokład okrętów;