miniatura|"dibuixa una icona, amb fons blanc, d'un cervell humà fet de placa de circuit imprès" -- una primera aproximació, tingues en compte que aquesta no és una placa de circuit imprès particularment bona (no hi ha components, només traces -- per què són tan gruixudes? per què hi ha tantes vies?) però millor que res Història de les xarxes neuronals artificials, les xarxes neuronals artificials (ANN) són models creats mitjançant l'aprenentatge automàtic per dur a terme diverses tasques. La seva creació es va inspirar en els circuits neuronals biològics. Mentre que algunes de les implementacions computacionals de les ANN es relacionen amb descobriments anteriors en matemàtiques, la primera implementació de les ANN va ser del psicòleg Frank Rosenblatt, que va desenvolupar el perceptró. Es va dur a terme poca investigació sobre les ANN durant les dècades de 1970 i 1980, i l'AAAI va anomenar aquest període un "hivern de la IA".
Més tard, els avenços en maquinari i el desenvolupament de l'algoritme de retropropagació, així com les xarxes neuronals recurrents i les xarxes neuronals convolucionals, van renovar l'interès per les xarxes neuronals artificials (ANN). A la dècada del 2010 es va desenvolupar una xarxa neuronal profunda (és a dir, amb moltes capes) anomenada AlexNet. Va superar amb escreix altres models de reconeixement d'imatges i es creu que va iniciar la primavera de la IA en curs, i va augmentar encara més l'interès per l'aprenentatge profund. L'arquitectura del transformador es va descriure per primera vegada el 2017 com un mètode per ensenyar les dependències gramaticals de les ANN en el llenguatge, i és l'arquitectura predominant utilitzada per grans models de llenguatge com ara GPT-4. Els models de difusió es van descriure per primera vegada el 2015 i es van convertir en la base dels models de generació d'imatges com ara DALL-E a la dècada del 2020.
Perceptrons i altres xarxes neuronals primerenques La xarxa de prealimentació més simple consisteix en una sola capa de pesos sense funcions d'activació. Seria només un mapa lineal, i l'entrenament seria una regressió lineal. La regressió lineal per mètode de mínims quadrats va ser utilitzada per Adrien-Marie Legendre (1805) i Carl Friedrich Gauss (1795) per a la predicció del moviment planetari.
A Logical Calculus of the Ideas Immanent in Nervous Activity (Warren McCulloch i Walter Pitts, 1943) va estudiar diversos models abstractes per a xarxes neuronals utilitzant la lògica simbòlica de Rudolf Carnap i Principia Mathematica. L'article argumentava que diversos models abstractes de xarxes neuronals (alguns que aprenen, altres que no) tenen la mateixa potència computacional que les màquines de Turing. Aquest model va obrir el camí perquè la investigació es divideixi en dos enfocaments. Un enfocament se centrava en els processos biològics mentre que l'altre se centrava en l'aplicació de les xarxes neuronals a la intel·ligència artificial. Aquest treball va conduir a treballar en xarxes nervioses i la seva vinculació amb autòmats finits.
A principis de la dècada de 1940, D. O. Hebb va crear una hipòtesi d'aprenentatge basada en el mecanisme de plasticitat neuronal que es va conèixer com a aprenentatge hebbiano. L'aprenentatge hebbiano és un aprenentatge no supervisat. Això va evolucionar cap a models de potenciació a llarg termini. Els investigadors van començar a aplicar aquestes idees als models computacionals el 1948 amb les màquines de tipus B de Turing. B. Farley i Wesley A. Clark (1954) van utilitzar per primera vegada màquines computacionals, aleshores anomenades "calculadores", per simular una xarxa hebbiana. Rochester, Holland, Habit i Duda (1956) van crear altres màquines computacionals de xarxes neuronals.
Frank Rosenblatt (1958) va crear el perceptró, un algoritme per al reconeixement de patrons. Un perceptró multicapa (MLP) constava de 3 capes: una capa d'entrada, una capa oculta amb pesos aleatoris que no aprenia i una capa de sortida. Amb notació matemàtica, Rosenblatt va descriure circuits que no eren del perceptró bàsic, com ara el circuit exclusiu-or que no podia ser processat per xarxes neuronals en aquell moment. El 1959, un model biològic proposat pels premis Nobel Hubel i Wiesel es basava en el seu descobriment de dos tipus de cèl·lules a l'escorça visual primària: cèl·lules simples i cèl·lules complexes. Més tard va publicar un llibre el 1962 que també va introduir variants i experiments informàtics, inclosa una versió amb perceptrons de quatre capes on les dues últimes capes han après pesos (i, per tant, un perceptró multicapa adequat).Alguns consideren que el llibre de 1962 va desenvolupar i explorar tots els ingredients bàsics dels sistemes d'aprenentatge profund actuals.
Alguns diuen que la recerca es va estancar després dels perceptrons de Marvin Minsky i Papert (1969).
El mètode de grup per al maneig de dades, Alexey Ivakhnenko i Lapa, van publicar el 1967 un mètode per entrenar xarxes neuronals arbitràriament profundes, que consideraven una forma de regressió polinòmica, o una generalització del perceptró de Rosenblatt. Un article de 1971 descrivia una xarxa profunda amb vuit capes entrenades per aquest mètode.
El primer perceptró multicapa d'aprenentatge profund entrenat mitjançant descens de gradient estocàstic va ser publicat el 1967 per Shun'ichi Amari. En experiments informàtics realitzats per Saito, estudiant d'Amari, un MLP de cinc capes amb dues capes modificables va aprendre representacions internes per classificar classes de patrons no linealment separables. Els desenvolupaments posteriors en l'ajustament de maquinari i hiperparàmetres han fet que el descens de gradient estocàstic d'extrem a extrem sigui la tècnica d'entrenament dominant actualment.
Retropropagació La retropropagació és una aplicació eficient de la regla de la cadena derivada per Gottfried Wilhelm Leibniz el 1673 a xarxes de nodes diferenciables. La terminologia "errors de retropropagació" va ser introduïda el 1962 per Rosenblatt, però no sabia com implementar-la, tot i que Henry J. Kelley tenia un precursor continu de la retropropagació el 1960 en el context de la teoria del control. La forma moderna de retropropagació es va desenvolupar diverses vegades a principis dels anys setanta. El primer exemple publicat va ser la tesi de màster de Seppo Linnainmaa (1970). Paul Werbos la va desenvolupar independentment el 1971, però va tenir dificultats per publicar-la fins al 1982. El 1986, David E. Rumelhart et al. van popularitzar la retropropagació.
Arquitectures de xarxa recurrents Un dels orígens de la xarxa neuronal recurrent (RNN) va ser la mecànica estadística. El model d'Ising va ser desenvolupat per Wilhelm Lenz i Ernst Ising a la dècada de 1920 com un model mecànic estadístic simple d'imants en equilibri. Glauber va estudiar el 1963 el model d'Ising evolucionant en el temps, com un procés cap a l'equilibri (dinàmica de Glauber), afegint-hi el component del temps. Shun'ichi Amari va proposar el 1972 modificar els pesos d'un model d'Ising mitjançant la regla d'aprenentatge de Hebb com a model de memòria associativa, afegint-hi el component d'aprenentatge. Això es va popularitzar com la xarxa de Hopfield (1982).
Un altre origen de la RNN va ser la neurociència. La paraula "recurrent" s'utilitza per descriure estructures semblants a bucles en anatomia. El 1901, Cajal va observar "semicercles recurrents" a l'escorça cerebel·losa. El 1933, Lorente de Nó va descobrir "connexions recurrents i recíproques" mitjançant el mètode de Golgi i va proposar que els bucles excitatoris expliquen certs aspectes del reflex vestibuloocular. Hebb va considerar el "circuit reverberant" com una explicació per a la memòria a curt termini. van considerar les xarxes neuronals que contenen cicles i van observar que l'activitat actual d'aquestes xarxes pot ser afectada per l'activitat indefinidament en el passat llunyà.
Dos dels primers treballs influents van ser la xarxa Jordan (1986) i la xarxa Elman (1990), que van aplicar la RNN a l'estudi de la psicologia cognitiva. El 1993, un sistema compressor d'història neuronal va resoldre una tasca d'"aprenentatge molt profund" que requeria més de 1000 capes posteriors en una RNN desplegada en el temps.
LSTM La tesi de diploma de Sepp Hochreiter (1991) va proposar el compressor d'història neuronal i va identificar i analitzar el problema del gradient evanescent. El 1993, un sistema compressor d'història neuronal va resoldre una tasca d'"aprenentatge molt profund" que requeria més de 1000 capes posteriors en una RNN desplegada en el temps. Hochreiter va proposar connexions residuals recurrents per resoldre el problema del gradient evanescent. Això va conduir a la memòria a llarg termini (LSTM), publicada el 1995. L'LSTM pot aprendre tasques d'"aprenentatge molt profund" amb llargs camins d'assignació de crèdits que requereixen records d'esdeveniments que van succeir milers de passos de temps discrets abans. Aquella LSTM encara no era l'arquitectura moderna, que requeria una "porta d'oblit", introduïda el 1999, que es va convertir en l'arquitectura RNN estàndard.
Les xarxes de memòria a curt termini (LSTM) van ser inventades per Hochreiter i Schmidhuber el 1995 i van establir rècords de precisió en múltiples dominis d'aplicacions. Es van convertir en l'opció per defecte per a l'arquitectura RNN.
Al voltant del 2006, LSTM va començar a revolucionar el reconeixement de veu, superant els models tradicionals en certes aplicacions de veu. LSTM també va millorar el reconeixement de veu amb vocabulari extens i la síntesi de text a veu i es va utilitzar a la cerca per veu de Google i al dictat en dispositius Android.
LSTM va batre rècords de millora en la traducció automàtica, la modelització del llenguatge i el processament multilingüe del llenguatge. LSTM combinat amb xarxes neuronals convolucionals (CNN) va millorar els subtítols automàtics d'imatges.
Xarxes neuronals convolucionals (CNN) L'origen de l'arquitectura CNN és el "neocognitró" introduït per Kunihiko Fukushima el 1980. Es va inspirar en el treball de Hubel i Wiesel a les dècades de 1950 i 1960, que va demostrar que les escorces visuals dels gats contenen neurones que responen individualment a petites regions del camp visual. El neocognitró va introduir els dos tipus bàsics de capes a les CNN: capes convolucionals i capes de mostreig reduït. Una capa convolucional conté unitats els camps receptius de les quals cobreixen un tros de la capa anterior. El vector de pes (el conjunt de paràmetres adaptatius) d'aquesta unitat sovint s'anomena filtre. Les unitats poden compartir filtres. Les capes de mostreig reduït contenen unitats els camps receptius de les quals cobreixen trossos de capes convolucionals anteriors. Aquesta unitat normalment calcula la mitjana de les activacions de les unitats del seu tros. Aquest mostreig reduït ajuda a classificar correctament els objectes en escenes visuals, fins i tot quan els objectes es desplacen.
El 1969, Kunihiko Fukushima també va introduir la funció d'activació ReLU (unitat lineal rectificada). El rectificador s'ha convertit en la funció d'activació més popular per a les CNN i les xarxes neuronals profundes en general.
La xarxa neuronal de retard temporal (TDNN) va ser introduïda el 1987 per Alex Waibel i va ser una de les primeres CNN, ja que aconseguia la invariància de desplaçament. Ho va fer mitjançant la compartició de pesos en combinació amb l'entrenament de retropropagació. Així, tot i que també utilitzava una estructura piramidal com en el neocognitró, realitzava una optimització global dels pesos en lloc d'una local.
El 1988, Wei Zhang et al. van aplicar la retropropagació a una CNN (un neocognitró simplificat amb interconnexions convolucionals entre les capes de característiques de la imatge i l'última capa completament connectada) per al reconeixement alfabètic. També van proposar una implementació de la CNN amb un sistema de computació òptica.