Winner-take-all

Принцип WTA (Winner-take-all, Переможець отримує все) застосовується в штучних нейронних мережах при прийнятті рішень і завдань класифікації. Він полягає в тому, що рішенням вважається така альтернатива, у якої вихідне значення відповідного нейрона є максимальним.

Цей принцип вважається аналогією принципу плюралізму.

В теорії штучних нейронних мереж, нейромережі winner-take-all є прикладом конкурентного навчання в нейронних мережах зі зворотніми зв'язками. Вихідні нейрони нейромережі інгібують один одного, активуючи в цей час самих себе через зворотні зв'язки. Через деякий час лише один нейрон буде активним, а саме той, який відповідає найбільшому входу нейромережі. Таким чином, нейронна мережа використовує нелінійне інгібування для того, щоб визначити вхідний нейрон найбільшим сигналом. Winner-take-all — це один із загальних обчислювальних принципів, який може бути використаний для різних типів нейромереж, включаючи нейромережі в неперервному часі і спайкові нейронні мережі.^[1][2]

Нейромережі типу winner-take-all часто використовуються в обчислювальних моделях мозку, а саме для розподіленого прийняття рішень в неокортексі. Приклади включають ієрархічні моделі зору ^[3] і моделі селективної уваги і розпізнавання.^[4][5] Цей принцип також часто використовується в нейроморфних аналогах VLSI. Формально було доведено що операція winner-take-all більш обчислювально потужна, ніж інші нелінійні операції, наприклад порогова функція^[6]. Будь-яка неперервна функція може бути апроксимована з допомогою нейромережі із алгоритмом winner-take-all як єдиною нелінійною операцією.

У багатьох практичних випадках застосовують принцип k-winners-take-all. Згідно з цим принципом k нейронів стають активними для фіксованого числа k.

• G.A. Carpenter and S. Grossberg, [1] [Архівовано 19 липня 2011 у Wayback Machine.] A massively parallel architecture for a self-organizing neural pattern recognition machine, «Computer Vision, Graphics, and Image Processing», «'37:54»', 1987.
• S. Grossberg, [2] [Архівовано 2 квітня 2015 у Wayback Machine.] Contour enhancement, short-term memory, and constancies in reverberating neural networks, «Studies in Applied Mathematics», «'52:213»', 1973.
• M. Oster, R. Douglas and S.-C. Liu, Computation with spikes in a winner-take-all network, Neural Computation, 21:9, 2009.
• M. Riesenhuber and T. Poggio, Hierarchical models of object recognition in cortex, Nature Neuroscience, 2:11, 1999.
• L. Itti, C. Koch and E. Niebur, A model of saliency-based visual attention for rapid scene analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, 20:11, 1998.
• W. Maass, On the computational power of winner-take-all, Neural Computation, 12:11, 2000.
• J. Lazzaro, S. Ryckebusch, M. A. Mahowald and C. A. Mead, Winner-take-all networks of O(N) complexity, in Advances in Neural Information Processing Systems 1, Morgan Kaufmann Publishers, San Francisco, CA, 1989. Also available online at John Lazzaro's website [Архівовано 9 березня 2012 у Wayback Machine.].
• CMOS winner-take-all circuits: A tutorial article on various types of winner-take-all transistor-level circuits fabricated in the CMOS technology.
• D. Scharstein, R. Szeliski, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, International Journal of Computer Vision, 47:1, 2002.

• Штучна нейронна мережа
• Теорема Цибенка
• Сигмоїда