Służba wojskowa mały|Prezydent Bill Clinton wręcza Medal Honoru senatorowi Inouye (2000) W 1943 wstąpił do 442 Pułku Piechoty, jednostki złożonej z żołnierzy japońskiego pochodzenia, utworzonej przez prezydenta Franklina D. Roosevelta. Po szkoleniu w (Missisipi) został wysłany do Włoch w maju 1944. Walczył m.in. na północ od Rzymu, a następnie we Francji, gdzie jego pułk zdobył miejscowości Bruyères, Belmont i Biffontaine, uczestnicząc także w odsieczy tzw. . Za zasługi awansował na podporucznika.
W kwietniu 1945, podczas natarcia na linię Gotów, został ciężko ranny – postrzał w brzuch i zmiażdżenie prawego ramienia (później amputowanego). Pomimo obrażeń kontynuował walkę, niszcząc stanowiska karabinów maszynowych. Działania wojenne w Europie zakończyły się trzy tygodnie później.
Po ewakuacji do USA przeszedł blisko dwuletnią rehabilitację w , gdzie zaprzyjaźnił się z Bobem Dole’em. Rozmowy z nim skłoniły go do rozważenia kariery publicznej, porzucając przedwojenne plany zostania chirurgiem. W maju 1947 został honorowo zwolniony ze służby w stopniu kapitana, odznaczony m.in. Krzyżem Wybitnej Służby, Brązową Gwiazdą i trzema Purpurowymi Sercami.