Królowa prowadziła samotny żywot na dworze kopenhaskim, podczas gdy król bawił się w mieście lub podróżował. W 1770 r. królowa weszła w intymne związki z pełniącym na dworze królewskim obowiązki m.in. lekarza, wpływowym politykiem Johannem Friedrichem Struensee, z którym miała córkę Luizę Augustę (ur. 7 lipca 1771). Romans królowej ze Struensee trwał do stycznia 1772 r., kiedy w wyniku przewrotu pałacowego oboje zostali aresztowani po balu maskowym w teatrze dworskim. Królowa została uwięziona w zamku Kronborg w Elzynorze. Struensee został skazany na karę śmierci i stracony 28 kwietnia 1772 r. Przed jego śmiercią, 6 kwietnia, doszło do rozwodu pary królewskiej. Naciski dworu brytyjskiego doprowadziły do uwolnienia królowej i skazania ją na wygnanie.
Karolina Matylda opuściła Danię na angielskiej fregacie, którą dopłynęła do Niemiec. Już nigdy nie zobaczyła swoich dzieci. Zamieszkała w zamku w Celle k. Hanoweru, gdzie wkrótce zmarła na płonicę i gdzie też została pochowana. Trumna ze zwłokami królowej jest złożona w krypcie kościoła NMP (Stadtkirche St. Marien) w Celle. Karolina Matylda jest jedyną duńską królową od czasów Chrystiana III, której odmówiono prawa do pochówku w katedrze w Roskilde.