mały|420x420px| Przykład zjawiska podwójnego zejścia w dwuwarstwowej sieci neuronowej : wraz ze wzrostem stosunku parametrów do punktów danych błąd testowy najpierw spada, potem rośnie, a potem znowu spada. Pionowa linia wyznacza granicę „progu interpolacji” pomiędzy obszarem niedoparametryzowanym (więcej punktów danych niż parametrów) a obszarem przeparametryzowanym (więcej parametrów niż punktów danych). Podwójny spadek (ang. double descent) – w statystyce i uczeniu maszynowym to zjawisko, w którym model z małą liczbą parametrów i model z nadzwyczaj dużą liczbą parametrów wykazują mały błąd treningu, ale model, którego liczba parametrów jest w przybliżeniu taka sama jak liczba punktów danych użytych do trenowania modelu, będzie miał znacznie większy błąd testu niż model z dużo większą liczbą parametrów. Zjawisko to uznano za zaskakujące, ponieważ przeczy ono założeniom dotyczącym nadmiernego dopasowania w klasycznym uczeniu maszynowym.
Historia Wczesne obserwacje zjawiska, które później nazwano podwójnym zstąpieniem w określonych modelach, pochodzą z 1989 r.
Termin "double descent" został zaproponowany przez Belkina i in. w 2019 r. kiedy zjawisko to zyskało popularność jako szersza koncepcja zauważona przez wiele modeli. Popularyzacja tego sformułowania został spowodowane sprzecznością pomiędzy powszechnie panującą opinią, że zbyt wiele parametrów w modelu skutkuje znacznym błędem nadmiernego dopasowania (ekstrapolacją kompromisu między odchyleniem a wariancją) i empirycznymi obserwacjami z lat 2010., zgodnie z którymi niektóre nowoczesne techniki uczenia maszynowego mają tendencję do lepszego działania w przypadku większych modeli.
Podwójny spadek występuje w regresji liniowej z izotropowymi współczynnikami Gaussa i izotropowym szumem Gaussa.
Przypisy
Kategoria:Klasyfikacja statystyczna Kategoria:Uczenie maszynowe