Na teoria matemática de redes neurais artificiais, o teorema da aproximação universal declaraBalázs Csanád Csáji (2001) Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungary que uma rede neural pré-alimentada com uma única camada oculta que contém um número finito de neurônios (i.é., um conjunto multicamada de perceptron) pode aproximar funções contínuas em subconjuntos compactos de Rn, com pressupostos mínimos de função de ativação. O teorema afirma que redes neurais simples podem representar uma grande variedade de funções interessantes quando há os parâmetros adequados; no entanto, ele não desenvolve a apreensibilidade algorítmica desses parâmetros.
Uma das primeiras versões do teorema foi provado por George Cybenko, em 1989, para funções de ativação sigmóide.Cybenko, G. (1989) "Approximations by superpositions of sigmoidal functions", Mathematics of Control, Signals, and Systems, 2 (4), 303-314
Pode também se aplicar em funções de torre em redes neurais para reconhecimento visual.
Apresentação formal O teoremaHaykin, Simon (1998). Neural Networks: A Comprehensive Foundation, Volume 2, Prentice Hall. .Hassoun, M. (1995) Fundamentals of Artificial Neural Networks MIT Press, p. 48 em termos matemáticos:Seja uma função não constante, com limites, e numa função monotônica contínua positiva. Seja uma unidade com dimensões m . O espaço de funções contínuas de escreve-se . Assim, para cada e cada função , há uma integral , com constantes reais e vetores reais , onde , tal que se possa definir:
como uma realização aproximada da função onde independe de ; ou seja,
para todo . Em suma, funçõesdo tipo são densas em .
Referências
Categoria:Arquitetura de redes Categoria:Redes Categoria:Redes neurais Categoria:Teoremas em matemática discreta