W 1947 r. Pepper Adams wrócił wraz z matką do Detroit w stanie Michigan. Było to wydarzenie przełomowe dla kariery młodego muzyka. Powrót w rodzinne strony zaowocował znajomością Peppera Adamsa z wieloma muzykami, do których należał także trębacz Donald Byrd, z którym w przyszłości Adams nie raz będzie współpracował.

Koniec lat czterdziestych, to okres, w którym Pepper Adams zapoznaje się z grą Wardella Graya oraz Harry’ego Carneya, co inspiruje go do zainteresowania się saksofonem barytonowym (w późniejszym okresie swego życia pytany, czemu wybrał akurat ten instrument Pepper Adams będzie żartobliwie odpowiadać, że trafił mu się wyjątkowo tani egzemplarz). W tym okresie (1951-1953), wraz z grupą kilku muzyków został wcielony do Armii Amerykańskiej, co zaowocowało występami dla amerykańskich żołnierzy stacjonujących w Korei..