En el camp de la modelització matemàtica, una xarxa de funcions de base radial és una xarxa neuronal artificial que utilitza funcions de base radial com a funcions d'activació. La sortida de la xarxa és una combinació lineal de funcions de base radial de les entrades i paràmetres de les neurones. Les xarxes de funcions de base radial tenen molts usos, com ara l'aproximació de funcions, la predicció de sèries temporals, la classificació i el control de sistemes. Van ser formulades per primera vegada en un article de 1988 per Broomhead i Lowe, tots dos investigadors del Royal Signals and Radar Establishment.
Arquitectura de xarxa miniatura|252x252px|Arquitectura d'una xarxa de funcions de base radial. Un vector d'entrada s'utilitza com a entrada per a totes les funcions de base radial, cadascuna amb paràmetres diferents. La sortida de la xarxa és una combinació lineal de les sortides de les funcions de base radial. Les xarxes de funcions de base radial (RBF) solen tenir tres capes: una capa d'entrada, una capa oculta amb una funció d'activació RBF no lineal i una capa de sortida lineal. L'entrada es pot modelar com un vector de nombres reals. La sortida de la xarxa és aleshores una funció escalar del vector d'entrada, , i ve donat per
on és el nombre de neurones a la capa oculta, és el vector central de la neurona , i és el pes de la neurona a la neurona de sortida lineal. Les funcions que depenen només de la distància des d'un vector central són radialment simètriques respecte a aquest vector, d'aquí el nom de funció de base radial. En la forma bàsica, totes les entrades estan connectades a cada neurona oculta. La norma es pren normalment com la distància euclidiana (tot i que la distància de Mahalanobis sembla funcionar millor amb el reconeixement de patrons) i la funció de base radial es considera habitualment gaussiana
Les funcions de base gaussiana són locals al vector central en el sentit que
És a dir, canviar els paràmetres d'una neurona només té un petit efecte per als valors d'entrada que estan lluny del centre d'aquesta neurona.
Donades certes condicions suaus sobre la forma de la funció d'activació, les xarxes RBF són aproximadors universals en un subconjunt compacte de Això significa que una xarxa RBF amb prou neurones ocultes pot aproximar qualsevol funció contínua en un conjunt tancat i limitat amb precisió arbitrària.
Els paràmetres , , i es determinen de manera que s'optimitza l'ajust entre i les dades. miniatura|250x250px|Dues funcions base radials no normalitzades en una dimensió d'entrada. Els centres de la funció base es troben a i .
Normalització Arquitectura normalitzada A més de l'arquitectura no normalitzada anterior, les xarxes RBF es poden normalitzar. En aquest cas, el mapatge és
on
es coneix com a funció de base radial normalitzada .
Motivació teòrica per a la normalització Hi ha una justificació teòrica per a aquesta arquitectura en el cas del flux de dades estocàstic. Assumim una aproximació de nucli estocàstic per a la densitat de probabilitat conjunta
on els pesos i són exemples de les dades i requerim que els nuclis estiguin normalitzats
i
.
Les densitats de probabilitat en els espais d'entrada i sortida són
i
L'esperança de y donada una entrada és
on
és la probabilitat condicional de y donada La probabilitat condicional està relacionada amb la probabilitat conjunta a través del teorema de Bayes
que produeix
Això esdevé
quan es realitzen les integracions.
Models lineals locals De vegades és convenient ampliar l'arquitectura per incloure models lineals locals. En aquest cas, les arquitectures esdevenen, de primer ordre,
i
en els casos no normalitzats i normalitzats, respectivament. Aquí són pesos que s'han de determinar. També són possibles termes lineals d'ordre superior.
Aquest resultat es pot escriure
on
i
en el cas no normalitzat i en el cas normalitzat. Aquí és una funció delta de Kronecker definida com
.
Aprenentatge Les xarxes RBF s'entrenen normalment a partir de parells de valors d'entrada i de destinació. , mitjançant un algorisme de dos passos.
En el primer pas, els vectors centrals de les funcions RBF de la capa oculta es trien. Aquest pas es pot dur a terme de diverses maneres; els centres es poden mostrejar aleatòriament a partir d'un conjunt d'exemples o es poden determinar mitjançant l'agrupació de k-mitges. Cal tenir en compte que aquest pas no està supervisat.
El segon pas simplement ajusta un model lineal amb coeficients a les sortides de la capa oculta respecte a alguna funció objectiu. Una funció objectiu comuna, almenys per a la regressió/estimació de funcions, és la funció dels mínims quadrats:
on
.
Hem inclòs explícitament la dependència dels pesos. La minimització de la funció objectiu dels mínims quadrats mitjançant l'elecció òptima dels pesos optimitza la precisió de l'ajust.
Hi ha ocasions en què cal optimitzar múltiples objectius, com ara la suavitat i la precisió. En aquest cas, és útil optimitzar una funció objectiu regularitzada com ara
on
i
on l'optimització de S maximitza la suavitat i es coneix com a paràmetre de regularització.
Es pot dur a terme un tercer pas opcional de retropropagació per ajustar amb precisió tots els paràmetres de la xarxa RBF.
Interpolació Les xarxes RBF es poden utilitzar per interpolar una funció quan els valors d'aquesta funció són coneguts en un nombre finit de punts: Prenent els punts coneguts ser els centres de les funcions de base radials i avaluar els valors de les funcions de base en els mateixos punts els pesos es poden resoldre a partir de l'equació
Es pot demostrar que la matriu d'interpolació de l'equació anterior no és singular si els punts són diferents, i per tant els pesos es pot resoldre amb àlgebra lineal simple:
on .
Aproximació de la funció Si l'objectiu no és realitzar una interpolació estricta, sinó una aproximació o classificació de funcions més general, l'optimització és una mica més complexa perquè no hi ha una elecció òbvia per als centres. L'entrenament es fa normalment en dues fases, primer fixant l'amplada i els centres i després els pesos. Això es pot justificar considerant la diferent naturalesa de les neurones ocultes no lineals enfront de la neurona de sortida lineal.
Formació dels centres de funcions bàsiques Els centres de funcions bàsiques es poden mostrejar aleatòriament entre les instàncies d'entrada o obtenir-se mitjançant l' algorisme d'aprenentatge de mínims quadrats ortogonals o trobar-se agrupant les mostres i escollint les mitjanes del clúster com a centres.
Les amplades dels RBF solen estar fixes al mateix valor, que és proporcional a la distància màxima entre els centres escollits.
Solució pseudoinversa per als pesos lineals Després dels centres s'han corregit, els pesos que minimitzen l'error a la sortida es poden calcular amb una solució pseudoinversa lineal:
,
on les entrades de G són els valors de les funcions de base radial avaluades en els punts : .
L'existència d'aquesta solució lineal significa que, a diferència de les xarxes de perceptró multicapa (MLP), les xarxes RBF tenen un minimitzador explícit (quan els centres són fixos).
Entrenament de descens de gradient dels pesos lineals Un altre possible algorisme d'entrenament és el descens de gradient. En l'entrenament per descens de gradient, els pesos s'ajusten a cada pas de temps movent-los en una direcció oposada al gradient de la funció objectiu (permetent així trobar el mínim de la funció objectiu).
on és un "paràmetre d'aprenentatge".
Per al cas d'entrenament dels pesos lineals, , l' algorisme esdevé
en el cas no normalitzat i
en el cas normalitzat.
Per a arquitectures lineals locals, l'entrenament de descens de gradient és
Formació de l'operador de projecció dels pesos lineals Per al cas d'entrenament dels pesos lineals, i , l' algorisme esdevé
en el cas no normalitzat i
en el cas normalitzat i
Per a una funció base, l'entrenament de l'operador de projecció es redueix al mètode de Newton. miniatura|350x350px|Figura 6: Sèries temporals del mapa logístic. La iteració repetida del mapa logístic genera una sèrie temporal caòtica. Els valors es troben entre zero i u. Aquí es mostren els 100 punts d'entrenament utilitzats per entrenar els exemples d'aquesta secció. Els pesos c són els primers cinc punts d'aquesta sèrie temporal.
Exemples Mapa logístic Les propietats bàsiques de les funcions de base radials es poden il·lustrar amb un mapa matemàtic senzill, el mapa logístic, que mapeja l'interval unitari sobre si mateix. Es pot utilitzar per generar un prototip de flux de dades convenient. El mapa logístic es pot utilitzar per explorar l'aproximació de funcions, la predicció de sèries temporals i la teoria del control. El mapa es va originar en el camp de la dinàmica de poblacions i es va convertir en el prototip per a sèries temporals caòtiques. El mapa, en el règim completament caòtic, ve donat per
on t és un índex temporal. El valor de x en el temps t+1 és una funció parabòlica de x en el temps t. Aquesta equació representa la geometria subjacent de la sèrie temporal caòtica generada pel mapa logístic.
La generació de la sèrie temporal a partir d'aquesta equació és el problema directe. Els exemples aquí il·lustren el problema invers; la identificació de la dinàmica subjacent, o equació fonamental, del mapa logístic a partir d'exemples de la sèrie temporal. L'objectiu és trobar una estimació.
per a f.
Aproximació de la funció Funcions de base radial no normalitzades
L'arquitectura és miniatura|350x350px|Figura 7: Funcions base no normalitzades. El mapa logístic (blau) i l'aproximació al mapa logístic (vermell) després d'una passada pel conjunt d'entrenament.
on
Com que l'entrada és un escalar en lloc d'un vector, la dimensió d'entrada és una. Triem el nombre de funcions base com a N=5 i la mida del conjunt d'entrenament com a 100 exemples generats per la sèrie temporal caòtica. El pes es pren com una constant igual a 5. Els pesos són cinc exemples de la sèrie temporal. Els pesos estan formats amb formació d'operador de projecció:
on la taxa d'aprenentatge es pren com a 0,3. L'entrenament es realitza amb una sola passada pels 100 punts d'entrenament. L'error rms és de 0,15. miniatura|350x350px|Figura 8: Funcions base normalitzades. El mapa logístic (blau) i l'aproximació al mapa logístic (vermell) després d'una passada pel conjunt d'entrenament. Observeu la millora respecte al cas no normalitzat.
Funcions de base radial normalitzades L'arquitectura RBF normalitzada és
on
De nou:
De nou, escollim el nombre de funcions base com a cinc i la mida del conjunt d'entrenament com a 100 exemples generats per la sèrie temporal caòtica. El pes es pren com una constant igual a 6. Els pesos són cinc exemples de la sèrie temporal. Els pesos estan formats amb formació d'operador de projecció:
on la taxa d'aprenentatge es torna a prendre com a 0,3. L'entrenament es realitza amb una sola passada pels 100 punts d'entrenament. L'error rms en un conjunt de prova de 100 exemples és de 0,084, més petit que l'error no normalitzat. La normalització produeix una millora de la precisió. Normalment, la precisió amb funcions base normalitzades augmenta encara més respecte a les funcions no normalitzades a mesura que augmenta la dimensionalitat de l'entrada. miniatura|350x350px|Figura 9: Funcions base normalitzades. El mapa logístic (blau) i l'aproximació del mapa logístic (vermell) en funció del temps. Cal tenir en compte que l'aproximació només és bona per a uns quants passos de temps. Aquesta és una característica general de les sèries temporals caòtiques.
Predicció de sèries temporals Un cop estimada la geometria subjacent de la sèrie temporal com en els exemples anteriors, es pot fer una predicció per a la sèrie temporal mitjançant iteració: