W 1992 został trenerem Seattle SuperSonics i pełnił tę funkcję do zakończenia sezonu 1997/1998. W 1996 uzyskał najlepszy bilans zwycięstw w historii klubu 64–18 i awans do finałów NBA, gdzie Sonics przegrali z Chicago Bulls 2–4. W zespole grali wówczas między innymi Gary Payton, Shawn Kemp, Hersey Hawkins, Detlef Schrempf i Sam Perkins.
W latach 1998–2003 prowadził Milwaukee Bucks, a w 2002 reprezentację USA na mistrzostwach świata. Od 2005 do 2013 był trenerem Denver Nuggets. W lutym 2010 zdiagnozowano u niego nowotwór głowy i szyi i na ławce trenerskiej do końca sezonu zastąpił go Adrian Dantley. Po ustąpieniu choroby Karl powrócił do sztabu szkoleniowego Nuggets przed rozpoczęciem sezonu 2010/2011. 10 grudnia 2010 po wygranej Nuggets nad Toronto Raptors został 7. trenerem w historii NBA, który osiągnął pułap 1000 zwycięstw. W sezonie 2013 Nuggets mając trzecią najmłodszą drużynę w NBA (średnia wieku 24,9) osiągnęli bilans 57–25, a Karl został wybrany trenerem roku w NBA.
Osiągnięcia Zawodnicze NCAA Uczestnik NCAA Final Four (1972) Mistrz turnieju NIT (1971)
Trenerskie NBA Finalista NBA (1996) Trener Roku (2013) 4-krotny trener drużyn All-Star (1994, 1996, 1998, 2010)