miniatura|420x420px|Un exemple del fenomen de doble descens en una xarxa neuronal de dues capes: a mesura que augmenta la relació entre paràmetres i punts de dades, l'error de prova primer disminueix, després augmenta i després torna a disminuir. La línia vertical marca el límit del "llindar d'interpolació" entre la regió subparametritzada (més punts de dades que paràmetres) i la regió sobreparametritzada (més paràmetres que punts de dades). El doble descens en estadística i aprenentatge automàtic és el fenomen en què un model amb un nombre petit de paràmetres i un model amb un nombre extremadament gran de paràmetres tenen un petit error d'entrenament, però un model el nombre de paràmetres del qual és aproximadament el mateix que el nombre de punts de dades utilitzats per entrenar el model tindrà un error de prova molt més gran que un amb un nombre molt més gran de paràmetres. Aquest fenomen s'ha considerat sorprenent, ja que contradiu les suposicions sobre el sobreajustament en l'aprenentatge automàtic clàssic.
Història Les primeres observacions del que més tard s'anomenaria doble descens en models específics daten del 1989.
El terme "doble descendència" va ser encunyat per Belkin et al. al. el 2019, quan el fenomen va guanyar popularitat com a concepte més ampli exhibit per molts models. Aquest darrer desenvolupament va ser impulsat per una contradicció percebuda entre la creença convencional que massa paràmetres en el model resulten en un error significatiu de sobreajustament (una extrapolació del compromís entre biaix i variància) i les observacions empíriques de la dècada del 2010 que algunes tècniques modernes d'aprenentatge automàtic tendeixen a funcionar millor amb models més grans.
Models teòrics El doble descens es produeix en la regressió lineal amb covariables gaussianes isotròpiques i soroll gaussià isotròpic.
S'ha analitzat un model de doble descens al límit termodinàmic utilitzant el truc de la rèplica, i el resultat s'ha confirmat numèricament.
Exemples empírics S'ha descobert que el comportament d'escalat de doble descens segueix una forma funcional de llei d'escalat neuronal trencada.
Referències
Categoria:Aprenentatge automàtic