Po odejściu z Crazy World, Palmer wraz z Vincentem Cranem stworzył grupę Atomic Rooster.
Po nagraniu zaledwie jednego albumu, Palmer założył zespół Emerson, Lake and Palmer (w skrócie ELP) wraz z Gregiem Lake'iem i Keithem Emersonem, z którym odniósł największe sukcesy w swojej karierze. W muzyce zespołu można było zaobserwować wpływy takich gatunków, jak art rock, jazz, electronica, pop-rock oraz muzyka poważna. Palmer pozostał w ELP do rozpadu grupy w 1979, po czym wraz z byłymi członkami Yes, King Crimson i Buggles założył zespół Asia. W międzyczasie nagrał również swój pierwszy album solowy sygnowany nazwą Carl Palmer's 1:PM, prezentując muzykę znacznie odbiegającą od dotychczasowych osiągnięć. Nawiązał również krótką współpracę z Mikiem Oldfieldem, nagrywając partię perkusji i instrumentów perkusyjnych w utworze „Mount Teide” z albumu Five Miles Out. W 1987 Palmer wraz z Emersonem i Robertem Berrym nagrali album jako zespół o nazwie 3, który jednak nie osiągnął dużej popularności.