Cztery razy dochodził do ćwierćfinałów wielkoszlemowych w deblu – w 1990 roku na French Open i Wimbledonie (z Woodbridge), w 1991 roku w Australian Open (z Wallym Masurem), w 1996 roku również w Australian Open (ze Scottem Draperem).
Stoltenberg reprezentował Australię w Pucharze Davisa oraz na igrzyskach olimpijskich w Atlancie w 1996 roku. W składzie reprezentacji o Puchar Davisa debiutował w 1989 roku, przegrywając z Jaime Yzagą. W 1993 roku miał udział w awansie Australii do finału Pucharu Davisa (w półfinale z Indiami pokonał m.in. Leandera Paesa), ale w spotkaniu finałowym przeciwko Niemcom uległ zarówno Michaelowi Stichowi (po pięciosetowej walce), jak i Marcowi-Kevinowi Goellnerowi. W 1996 roku w walce o grupę światową Pucharu Davisa z Chorwatami pokonał Gorana Ivaniševicia. Po raz ostatni Stoltenberg wystąpił w reprezentacji w 1998 roku, zdobywając dwa punkty singlowe w meczu z Uzbekistanem. Łącznie rozegrał 14 pojedynków, z czego wygrał 9;