La xarxa neuronal de retroalimentació és una xarxa neuronal amb la capacitat de proporcionar retroalimentació de disseny de baix a dalt i de dalt a baix a la seva entrada o capes anteriors, basant-se en les seves sortides o capes posteriors. Això s'utilitza notablement en models de llenguatge extens, específicament en models de llenguatge de raonament (RLM). Aquest procés està dissenyat per imitar l'autoavaluació i la deliberació interna, amb l'objectiu de minimitzar els errors (com les al·lucinacions) i augmentar la interpretabilitat. La reflexió és una forma de "càlcul en temps de prova", on s'utilitzen recursos computacionals addicionals durant la inferència. miniatura|Tres tipus de retroalimentació en una xarxa neuronal RNN.
Introducció Les xarxes neuronals tradicionals processen les entrades de manera anticipativa, generant sortides en una sola passada. Tanmateix, les seves limitacions en la gestió de tasques complexes, i especialment les de composició, han portat al desenvolupament de mètodes que simulen la deliberació interna. Tècniques com la cadena de pensament inciten els models a generar passos de raonament intermedis, millorant així el seu rendiment en aquestes tasques.
La retroalimentació pot tenir lloc després d'una passada completa de la xarxa i la descodificació en tokens, o contínuament en l'espai latent (l'última capa es pot retroalimentar a la primera capa). En els LLM, els tokens especials poden marcar el principi i el final de la reflexió abans de produir una resposta final (per exemple, <pensament>).
Aquest procés intern de "pensar" sobre els passos que porten a una resposta està dissenyat per ser anàleg a la metacognició humana o "pensar sobre el pensament". Ajuda els sistemes d'IA a abordar tasques que requereixen raonament, planificació i pensament lògic en diversos passos.
Tècniques Augmentar la longitud del procés de raonament de la Cadena de Pensament, passant la sortida del model de tornada a la seva entrada i fent múltiples passos de xarxa, augmenta l'escalat del temps d'inferència. També s'han utilitzat marcs d'aprenentatge per reforç per dirigir la Cadena de Pensament. Un exemple és l'Optimització de Polítiques Relatives de Grup (GRPO), utilitzada a DeepSeek-R1, una variant dels mètodes de gradient de polítiques que elimina la necessitat d'un model "crític" separat normalitzant les recompenses dins d'un grup de sortides generades, reduint el cost computacional. Tècniques simples com el "forçament de pressupost" (obligar el model a continuar generant passos de raonament) també han demostrat ser efectives per millorar el rendiment.
Tipus de reflexió Reflexió post-hoc Analitza i critica una sortida inicial per separat, sovint implicant demanar al model que identifiqui errors o suggereixi millores després de generar una resposta. El marc Reflexion segueix aquest enfocament.
Reflexió iterativa Revisa les parts anteriors d'una resposta dinàmicament durant la generació. Els mecanismes d'automonitorització permeten que el model ajusti el raonament a mesura que avança. Mètodes com l'arbre de pensaments exemplifiquen això, permetent el retrocés i l'exploració alternativa.
Reflexió intrínseca Integra l'automonitorització directament a l'arquitectura del model en lloc de confiar únicament en indicacions externes, permetent que els models tinguin consciència inherent de les seves limitacions i incerteses de raonament. Google DeepMind ha utilitzat això en una tècnica anomenada Autocorrecció mitjançant Aprenentatge per Reforç (SCoRe) que recompensa el model per millorar les seves respostes.
Models de recompensa de processos i limitacions Les primeres investigacions van explorar els PRM per proporcionar retroalimentació sobre cada pas de raonament, a diferència de l'aprenentatge per reforç tradicional que només recompensa el resultat final. Tanmateix, els PRM s'han enfrontat a reptes, com ara el cost computacional i la pirateria de recompenses. Els desenvolupadors de DeepSeek-R1 van trobar que no eren beneficiosos.
Referències
Categoria:Aprenentatge automàtic