miniatura|Exemple de destil·lació del coneixement en visió per computador En l'aprenentatge automàtic, la destil·lació del coneixement o la destil·lació del model és el procés de transferència de coneixement d'un model gran a un de més petit. Si bé els models grans (com ara xarxes neuronals molt profundes o conjunts de molts models) tenen més capacitat de coneixement que els models petits, és possible que aquesta capacitat no s'utilitzi completament. Pot ser igual de costós computacionalment avaluar un model, fins i tot si utilitza poca capacitat de coneixement. La destil·lació del coneixement transfereix el coneixement d'un model gran a un de més petit sense pèrdua de validesa. Com que els models més petits són menys costosos d'avaluar, es poden implementar en maquinari menys potent (com ara un dispositiu mòbil). miniatura|Destil·lar el coneixement d'un professor a un alumne La destil·lació del model no s'ha de confondre amb la compressió del model, que descriu mètodes per reduir la mida d'un model gran, sense entrenar un model nou. La compressió del model generalment conserva l'arquitectura i el nombre de paràmetres nominals del model, alhora que disminueix els bits per paràmetre.

La destil·lació del coneixement s'ha utilitzat amb èxit en diverses aplicacions de l'aprenentatge automàtic, com ara la detecció d'objectes, models acústics, i el processament del llenguatge natural. Recentment, també s'ha introduït a la gràfica de xarxes neuronals aplicables a dades que no són de la xarxa.

Història Una metodologia relacionada va ser la compressió o poda de models, on una xarxa entrenada es redueix de mida. Això es va fer per primera vegada el 1965 per Alexey Ivakhnenko i Valentin Lapa a l'URSS (1965). Les seves xarxes profundes es van entrenar capa per capa mitjançant anàlisi de regressió. Les unitats ocultes superflues es van podar mitjançant un conjunt de validació independent. Altres mètodes de compressió de xarxes neuronals inclouen Biased Weight Decay i Optimal Brain Damage.

Un primer exemple de destil·lació de xarxes neuronals va ser publicat per Jürgen Schmidhuber el 1991, en el camp de les xarxes neuronals recurrents (RNN). El problema era la predicció de seqüències per a seqüències llargues, és a dir, l'aprenentatge profund. Va ser resolt per dos RNN. Un d'ells (l' automatitzador) va predir la seqüència, i un altre (el chunker) va predir els errors de l'automatitzador. Simultàniament, l'automatitzador va predir els estats interns del chunker. Després que l'automatitzador aconsegueix predir bé els estats interns del chunker, començaria a corregir els errors i aviat el chunker queda obsolet, deixant només un RNN al final.

La idea d'utilitzar la sortida d'una xarxa neuronal per entrenar una altra xarxa neuronal també es va estudiar com a configuració de xarxa professor-alumne. El 1992, diversos articles van estudiar la mecànica estadística de les configuracions professor-alumne amb màquines de comitè o ambdues màquines de paritat.

Comprimir el coneixement de múltiples models en una única xarxa neuronal es va anomenar compressió de model el 2006: la compressió es va aconseguir entrenant un model més petit en grans quantitats de pseudodades etiquetades per un conjunt de més rendiment, optimitzant-se per fer coincidir el logit del model comprimit amb el logit del conjunt. La preimpressió de destil·lació del coneixement de Geoffrey Hinton et al. (2015) van formular el concepte i van mostrar alguns resultats aconseguits en la tasca de classificació d'imatges.

La destil·lació del coneixement també està relacionada amb el concepte de clonació del comportament discutit per Faraz Torabi et. al. miniatura|Destil·lació de coneixements: diferents nivells

Mètodes La transferència de coneixement d'un model gran a un de petit necessita d'alguna manera ensenyar aquest últim sense pèrdua de validesa. Si ambdós models s'entrenen amb les mateixes dades, el model més petit pot tenir una capacitat insuficient per aprendre una representació del coneixement concisa en comparació amb el model gran. No obstant això, certa informació sobre una representació de coneixement concisa està codificada en les pseudoprobabilitats assignades a la seva sortida: quan un model prediu correctament una classe, assigna un valor gran a la variable de sortida corresponent a aquesta classe i valors més petits a les altres variables de sortida. La distribució de valors entre les sortides d'un registre proporciona informació sobre com el gran model representa el coneixement. Per tant, l'objectiu del desplegament econòmic d'un model vàlid es pot aconseguir entrenant només el model gran sobre les dades, aprofitant la seva millor capacitat per aprendre representacions de coneixement concises i després destil·lar aquest coneixement en el model més petit, entrenant-lo per aprendre el resultat suau del model gran.

Formulació matemàtica Donat un model gran en funció de la variable vectorial , entrenat per a una tasca de classificació específica, normalment la capa final de la xarxa és un softmax en forma

on és la temperatura, un paràmetre que s'estableix a 1 per a un softmax estàndard. L'operador softmax converteix els valors logit a pseudo-probabilitats: els valors de temperatura més alts generen distribucions més suaus de pseudo-probabilitats entre les classes de sortida. La destil·lació del coneixement consisteix a entrenar una xarxa més petita, anomenada model destil·lat, en un conjunt de dades anomenat conjunt de transferència (que és diferent del conjunt de dades utilitzat per entrenar el model gran) utilitzant l'entropia creuada com a funció de pèrdua entre la sortida del model destil·lat. i la sortida del model gran en el mateix registre (o la mitjana de les sortides individuals, si el model gran és un conjunt), utilitzant un alt valor de temperatura softmax per als dos models

En aquest context, una temperatura elevada augmenta l'entropia de la sortida, proporcionant, per tant, més informació per aprendre per al model destil·lat en comparació amb els objectius durs, i al mateix temps reduint la variància del gradient entre diferents registres, permetent així una taxa d'aprenentatge més alta.

Si la veritat del sòl està disponible per al conjunt de transferència, el procés es pot reforçar afegint a la pèrdua l'entropia creuada entre la sortida del model destil·lat (calculat amb ), i l'etiqueta coneguda

on el component de la pèrdua respecte al model gran es pondera per un factor de ja que, a mesura que augmenta la temperatura, el gradient de la pèrdua respecte als pesos del model s'escala en un factor de .

Relació amb la compressió del model Sota l'assumpció que els logits tenen una mitjana zero, és possible demostrar que la compressió del model és un cas especial de destil·lació del coneixement. El gradient de la pèrdua de coneixement per destil·lació respecte al logit del model destil·lat està donat per

on són els logits del gran model. Per a grans valors de això es pot aproximar com

i sota la hipòtesi de mitjana zero esdevé , que és la derivada de , és a dir, la pèrdua equival a fer coincidir els logits dels dos models, tal com es fa a la compressió del model.

Algorisme "Dany cerebral òptim" L'algoritme de dany cerebral òptim (OBD) és el següent:

Feu-ho fins que s'assoleixi el nivell d'escàs o rendiment desitjat:

Entrenar la xarxa (mitjançant mètodes com ara la retropropagació) fins que s'obtingui una solució raonable Calculeu les saliències per a cada paràmetre Suprimiu alguns paràmetres de menor rellevància

Suprimir un paràmetre significa fixar el paràmetre a zero. La "salència" d'un paràmetre es defineix com , on és la funció de pèrdua. La segona derivada es pot calcular mitjançant retropropagació de segon ordre.

La idea d'un dany cerebral òptim és aproximar la funció de pèrdua en un barri de paràmetres òptims per l'expansió de Taylor: on , ja que és òptim, i les derivades creuades es descuiden per guardar el càlcul. Així, la rellevància d'un paràmetre s'aproxima a l'augment de la pèrdua si s'elimina aquest paràmetre.

Referències

Categoria:Aprenentatge automàtic