Принцип WTA (Winner-take-all, Переможець отримує все) застосовується в штучних нейронних мережах при прийнятті рішень і завдань класифікації. Він полягає в тому, що рішенням вважається така альтернатива, у якої вихідне значення відповідного нейрона є максимальним.
Цей принцип вважається аналогією принципу плюралізму.
Штучні нейронні мережі
В теорії штучних нейронних мереж, нейромережі winner-take-all є прикладом конкурентного навчання в нейронних мережах зі зворотніми зв'язками. Вихідні нейрони нейромережі інгібують один одного, активуючи в цей час самих себе через зворотні зв'язки. Через деякий час лише один нейрон буде активним, а саме той, який відповідає найбільшому входу нейромережі. Таким чином, нейронна мережа використовує нелінійне інгібування для того, щоб визначити вхідний нейрон найбільшим сигналом. Winner-take-all — це один із загальних обчислювальних принципів, який може бути використаний для різних типів нейромереж, включаючи нейромережі в неперервному часі і спайкові нейронні мережі.Grossberg, 1973Oster et al. 2009
Нейромережі типу winner-take-all часто використовуються в обчислювальних моделях мозку, а саме для розподіленого прийняття рішень в неокортексі. Приклади включають ієрархічні моделі зору Riesenhuber et al. 1999 і моделі селективної уваги і розпізнавання.Carpenter and Grossberg, 1987Itti et al. 1998 Цей принцип також часто використовується в нейроморфних аналогах VLSI. Формально було доведено що операція winner-take-all більш обчислювально потужна, ніж інші нелінійні операції, наприклад порогова функціяMaass, W. 2000. On the computational power of winner-take-all. Neural Computation 12:2519-2535.. Будь-яка неперервна функція може бути апроксимована з допомогою нейромережі із алгоритмом winner-take-all як єдиною нелінійною операцією.
У багатьох практичних випадках застосовують принцип k-winners-take-all. Згідно з цим принципом k нейронів стають активними для фіксованого числа k.
Посилання
G.A. Carpenter and S. Grossberg, A massively parallel architecture for a self-organizing neural pattern recognition machine, «Computer Vision, Graphics, and Image Processing», «'37:54»', 1987. S. Grossberg, Contour enhancement, short-term memory, and constancies in reverberating neural networks, «Studies in Applied Mathematics», «'52:213»', 1973. M. Oster, R. Douglas and S.-C. Liu, Computation with spikes in a winner-take-all network, Neural Computation, 21:9, 2009. M. Riesenhuber and T. Poggio, Hierarchical models of object recognition in cortex, Nature Neuroscience, 2:11, 1999. L. Itti, C. Koch and E. Niebur, A model of saliency-based visual attention for rapid scene analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, 20:11, 1998. W. Maass, On the computational power of winner-take-all, Neural Computation, 12:11, 2000. J. Lazzaro, S. Ryckebusch, M. A. Mahowald and C. A. Mead, Winner-take-all networks of O(N) complexity, in Advances in Neural Information Processing Systems 1, Morgan Kaufmann Publishers, San Francisco, CA, 1989. Also available online at John Lazzaro's website . CMOS winner-take-all circuits: A tutorial article on various types of winner-take-all transistor-level circuits fabricated in the CMOS technology. D. Scharstein, R. Szeliski, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, International Journal of Computer Vision, 47:1, 2002.
Див. також Штучна нейронна мережа Теорема Цибенка Сигмоїда