A destilación de coñecemento é unha técnica de aprendizaxe automática na que un modelo, denominado alumno, se adestra empregando información producida por outro modelo ou conxunto de modelos, denominado profesor. Esa información pode consistir en probabilidades de saída, representacións intermedias ou relacións entre exemplos. Un uso habitual é obter un modelo máis pequeno que conserve parte da capacidade preditiva dun sistema custoso, aínda que a técnica tamén se utiliza con modelos de tamaño semellante.
A idea central é que a resposta dun modelo pode proporcionar un sinal de aprendizaxe máis detallado ca unha etiqueta illada. Nun problema de clasificación, unha etiqueta indica a clase correcta, mentres que unha distribución de probabilidades tamén expresa como relaciona o profesor as clases alternativas. O alumno aprende a aproximar esas respostas mediante unha función de perda, frecuentemente combinada coa supervisión das etiquetas orixinais.
A palabra coñecemento designa aquí o comportamento aprendido polo modelo, sen implicar comprensión humana. A destilación non transfire literalmente todos os parámetros nin garante que o alumno conserve cada capacidade do profesor. O resultado depende da arquitectura, dos datos empregados para a transferencia e da información que se escolle imitar.
Orixe e desenvolvemento Un antecedente directo foi o traballo de Cristian Buciluǎ, Rich Caruana e Alexandru Niculescu-Mizil sobre compresión de modelos, publicado en 2006. Os autores estudaron como aproximar un conxunto de clasificadores mediante un único modelo máis doado de executar. O conxunto actuaba como fonte de respostas para adestrar o modelo compacto sobre exemplos adicionais, o que permitía separar a complexidade do sistema de adestramento da complexidade do sistema empregado para facer predicións.
Hinton, Vinyals e Dean popularizaron en 2015 a formulación baseada en distribucións de saída suavizadas. O seu traballo relacionou a destilación coa transferencia desde conxuntos de modelos e mostrou aplicacións ao recoñecemento de díxitos e ao modelado acústico. A expresión coñecemento escuro empregouse para aludir á información contida nas probabilidades das clases que non reciben a máxima puntuación.
O desenvolvemento posterior ampliou as fontes de supervisión. FitNets propuxo utilizar activacións internas como pistas para adestrar redes máis estreitas e profundas. A destilación relacional pasou a comparar distancias e ángulos entre representacións de varios exemplos. Estes enfoques amosaron que a transferencia non ten por que limitarse á última capa dunha rede.
Principio de funcionamento
Profesor, alumno e datos de transferencia O profesor é unha función xa aprendida ou un sistema que produce obxectivos durante o adestramento. O alumno é a función que se quere obter. Ambos deben compartir unha forma de comparar as súas respostas, pero non precisan ter a mesma arquitectura nin igual número de parámetros. Unha rede pode, por exemplo, aprender dun conxunto de redes se as súas saídas se expresan sobre as mesmas clases.
Os datos de transferencia determinan en que rexións do espazo de entradas se compara o comportamento dos modelos. Poden coincidir cos datos orixinais, incluír exemplos sen etiquetar ou proceder dun proceso de xeración. A capacidade de imitación fóra desa distribución non se deduce da coincidencia observada dentro dela. Esta dependencia dos datos xa aparecía na compresión mediante exemplos artificiais: a cobertura do espazo de entradas condicionaba a utilidade da supervisión do conxunto.
Hai unha diferenza entre transferir unha decisión e transferir unha distribución. Se só se garda a clase máis probable, pérdese a información sobre as alternativas. Se se conservan as probabilidades, o alumno recibe un obxectivo máis rico, pero tamén pode herdar as confusións do profesor. Así, o sinal de destilación complementa as etiquetas dispoñibles; non as converte automaticamente en innecesarias.
Temperatura e probabilidades suavizadas Nun clasificador con clases, sexan as puntuacións anteriores á normalización. A función softmax cunha temperatura positiva define
alt=Tres gráficos mostran como as probabilidades de catro clases se achegan entre si cando aumenta a temperatura.|miniatura|426x426px|Efecto da temperatura sobre as puntuacións sintéticas 4, 2, 1 e 0. As curvas representan a fórmula softmax, non resultados dun modelo adestrado. Con obtense a distribución habitual. Unha temperatura maior reduce as diferenzas relativas entre as probabilidades e fai máis visibles as clases secundarias. Unha temperatura moi pequena concentra a masa nas puntuacións máis altas; se hai un máximo único, a distribución tende a asignarlle toda a probabilidade. A temperatura non modifica a orde das puntuacións, mais si a intensidade do sinal que recibe cada clase.
Para o profesor, denótese a distribución por , e para o alumno, por . Unha formulación frecuente combina a entropía cruzada respecto da etiqueta real coa diverxencia de Kullback–Leibler:
O factor compensa a redución de escala dos gradientes que aparece na formulación clásica ao aumentar a temperatura. Non é unha regra que deba trasladarse sen cambios a calquera perda ou arquitectura. Durante a inferencia, o alumno adoita producir a súa saída coa temperatura ordinaria. A temperatura de destilación pertence ao proceso de adestramento e non é, por si soa, unha calibración das probabilidades finais.
Axuste e gradientes Se o profesor permanece fixo, minimizar a diverxencia de Kullback–Leibler respecto dos parámetros do alumno equivale a minimizar a entropía cruzada coas probabilidades do profesor: o termo que depende só do profesor é constante. Isto permite implementar a supervisión como unha comparación entre dous vectores de probabilidades. A orde da diverxencia importa; intercambiar profesor e alumno produce unha función de perda diferente.
O adestramento pode calcular as saídas do profesor en cada lote ou almacenalas previamente. A primeira opción permite empregar transformacións novas dos datos, a cambio de máis cálculo. A segunda aforra consultas ao profesor, pero require almacenamento e liga os obxectivos ás entradas concretas que se procesaron. No caso das representacións internas, gardar todas as activacións pode resultar moito máis custoso que gardar só as probabilidades finais.
Información que se transfire
Respostas de saída A destilación de respostas compara predicións, puntuacións ou distribucións. É a modalidade máis independente da estrutura interna do profesor, polo que pode empregarse cando só se ten acceso ás súas saídas. Nun clasificador, o acordo sobre as probabilidades non require unha correspondencia entre neuronas. Nun regresor, a comparación pode utilizar erros cadráticos sobre valores continuos.
En problemas de secuencias hai unha decisión adicional: imitar as distribucións de cada paso ou as secuencias completas producidas polo profesor. Kim e Rush estudaron a destilación a nivel de secuencia na tradución automática. Nesa formulación, as traducións xeradas polo profesor serven como obxectivos de adestramento do alumno. O obxectivo cambia respecto de copiar cada distribución local, porque a secuencia sintetizada tamén reflicte as decisións do procedemento de descodificación.
Representacións intermedias As capas internas dunha rede ofrecen obxectivos máis detallados que a saída final. FitNets introduciu unha transformación auxiliar para facer compatibles representacións de dimensións distintas. O alumno podía aprender a reproducir unha activación do profesor antes de completar o axuste para a tarefa. A transformación non implica que todas as neuronas teñan un significado individual compartido: resolve unha correspondencia operativa entre dous espazos de características.
Nos modelos transformer, TinyBERT empregou obxectivos relacionados coas matrices de atención e cos estados ocultos. O seu procedemento distinguiu unha fase xeral de destilación e outra específica da tarefa. A selección das capas que se comparan e os mecanismos para adaptar dimensións forman parte do método; non existe unha correspondencia obrigatoria entre cada capa do profesor e cada capa do alumno.
Relacións entre exemplos alt=Dous triángulos teñen coordenadas e orientacións diferentes, pero as mesmas distancias normalizadas entre os seus vértices.|miniatura|334x334px|Exemplo xeométrico da diferenza entre imitar coordenadas e conservar relacións. Os puntos son sintéticos; a figura non representa activacións dunha rede real. A destilación relacional conserva propiedades xeométricas dun grupo de representacións, como distancias normalizadas ou ángulos. Isto permite que o alumno empregue coordenadas diferentes das do profesor e, ao mesmo tempo, reproduza parte da organización do espazo. Unha rotación dun conxunto de puntos cambia as coordenadas, mais conserva as distancias; esa distinción explica por que unha perda relacional difire dunha comparación directa de activacións.
As relacións deben estimarse sobre lotes ou subconxuntos, pois comparar todos os pares dun conxunto grande pode resultar prohibitivo. A composición do lote determina que relacións se observan. Ademais, preservar a xeometría elixida non equivale a conservar toda a información útil para calquera tarefa futura: cada perda define que aspectos se consideran relevantes.
Organización do adestramento
Destilación diferida e aprendizaxe mutua Na destilación diferida, o profesor adéstrase primeiro e mantense fixo durante a aprendizaxe do alumno. A separación simplifica a análise do obxectivo, pero obriga a dispoñer do profesor e a asumir o seu custo de execución. Na destilación en liña, os modelos evolucionan durante o mesmo proceso. A aprendizaxe mutua profunda propuxo que varios alumnos se supervisasen entre si, combinando etiquetas e acordo entre distribucións, sen requirir un profesor grande previamente adestrado.
O feito de que varias redes se supervisen non elimina a necesidade de información externa sobre a tarefa. Un acordo entre predicións erróneas pode ser estable. Por iso, os métodos mutuos definen como combinar a supervisión dispoñible, a diversidade dos modelos e a presión para que as súas respostas concorden.
Autodestilación A autodestilación emprega como profesor outra versión, etapa ou parte dun modelo relacionado co alumno. As Born Again Networks estudaron sucesivas xeracións de redes coa mesma arquitectura. Os resultados mostraron que a destilación tamén pode funcionar como procedemento de mellora do adestramento, sen reducir necesariamente o número de parámetros. Superar o profesor nunha proba concreta é posible, pero non constitúe unha garantía xeral do método.
Un enfoque relacionado é manter un profesor formado por unha media móbil dos parámetros do alumno. Mean Teacher empregou esta idea na aprendizaxe semisupervisada para construír obxectivos de consistencia. Comparte coa destilación a supervisión entre modelos, aínda que a súa finalidade principal non é comprimir un profesor grande. A distinción evita tratar como equivalentes todos os sistemas que utilizan as palabras profesor e alumno.
Aplicacións A compresión para dispositivos con recursos limitados foi unha das principais motivacións da destilación. Un alumno compacto pode reducir memoria e operacións durante a inferencia, permitindo executar unha tarefa en teléfonos ou sistemas integrados. Porén, o aforro depende das operacións e do hardware: dous modelos cun número semellante de parámetros poden presentar latencias moi diferentes.
No procesamento da linguaxe natural, DistilBERT aplicou a destilación durante o preadestramento dun modelo de representación da linguaxe. O método combinou obxectivos de modelado da linguaxe, imitación das saídas e proximidade das representacións. A proposta ilustra como a transferencia pode producir un modelo xeral que se axusta posteriormente a distintas tarefas, en lugar de limitarse a un único clasificador especializado.