stringtranslate.com

Победитель получает все (вычислительная техника)

Победитель получает все — это вычислительный принцип, применяемый в вычислительных моделях нейронных сетей , с помощью которого нейроны конкурируют друг с другом за активацию. В классической форме только нейрон с наивысшей активацией остается активным, в то время как все остальные нейроны выключаются; однако другие вариации позволяют активировать более одного нейрона, например, мягкий победитель получает все, с помощью которого к нейронам применяется степенная функция .

Нейронные сети

В теории искусственных нейронных сетей сети «победитель получает все» являются случаем конкурентного обучения в рекуррентных нейронных сетях . Выходные узлы в сети взаимно подавляют друг друга, одновременно активируя себя через рефлексивные связи. Через некоторое время активным будет только один узел в выходном слое, а именно тот, который соответствует самому сильному входу. Таким образом, сеть использует нелинейное подавление, чтобы выбрать наибольший из набора входов. «Победитель получает все» — это общий вычислительный примитив, который может быть реализован с использованием различных типов моделей нейронных сетей, включая как непрерывные, так и импульсные сети. [1] [2]

Сети «победитель получает все» обычно используются в вычислительных моделях мозга, особенно для распределенного принятия решений или выбора действий в коре . Важные примеры включают иерархические модели зрения, [3] и модели избирательного внимания и распознавания. [4] [5] Они также распространены в искусственных нейронных сетях и нейроморфных аналоговых схемах VLSI. Было официально доказано, что операция «победитель получает все» является вычислительно мощной по сравнению с другими нелинейными операциями, такими как пороговая установка. [6]

Во многих практических случаях активизируется не один нейрон, а ровно k нейронов, которые активизируются для фиксированного числа k . Этот принцип называется k-победители-забирают-все .

Пример схемы

Двухвходовая схема CMOS, где победитель получает все

Справа показана простая, но популярная схема CMOS «победитель получает все». Эта схема была первоначально предложена Лаззаро и др. (1989) [7] с использованием МОП-транзисторов, смещенных для работы в режиме слабой инверсии или подпороговом режиме. В показанном конкретном случае есть только два входа ( I IN ,1 и I IN ,2 ), но схему можно легко расширить на несколько входов простым способом. Она работает на непрерывных во времени входных сигналах (токах) параллельно, используя только два транзистора на вход. Кроме того, ток смещения I BIAS задается одним глобальным транзистором, который является общим для всех входов.

Наибольший из входных токов задает общий потенциал V C . В результате соответствующий выход несет почти весь ток смещения, в то время как другие выходы имеют токи, близкие к нулю. Таким образом, схема выбирает больший из двух входных токов, т. е. если I IN ,1 > I IN ,2 , мы получаем I OUT ,1 = I BIAS и I OUT ,2 = 0. Аналогично, если I IN ,2 > I IN ,1 , мы получаем I OUT ,1 = 0 и I OUT ,2 = I BIAS .

Моделирование двухвходовой схемы КМОП «победитель получает все»

Справа показано моделирование постоянного тока на основе SPICE схемы CMOS «победитель получает все» в случае с двумя входами. Как показано на верхнем подграфике, вход I IN , 1 был зафиксирован на уровне 6 нА, в то время как I IN ,2 линейно увеличивался от 0 до 10 нА. Нижний подграфик показывает два выходных тока. Как и ожидалось, выход, соответствующий большему из двух входов, несет весь ток смещения (в данном случае 10 нА), заставляя другой выходной ток стремиться к нулю.

Другие применения

В алгоритмах стереосоответствия , следуя таксономии, предложенной Шарштейном и Сзеллиски, [8] победитель получает все является локальным методом вычисления диспаратности. Принимая стратегию победитель получает все, диспаратность, связанная с минимальным или максимальным значением стоимости, выбирается для каждого пикселя.

Аксиоматично, что на рынке электронной коммерции ранние доминирующие игроки, такие как AOL или Yahoo!, получают большую часть вознаграждения. К 1998 году одно исследование [ необходимо разъяснение ] обнаружило, что 5% лучших веб-сайтов привлекали более 74% всего трафика.

Гипотеза «победитель получает все» в экономике предполагает, что как только технология или фирма вырвутся вперед, они будут со временем работать все лучше и лучше, в то время как отстающие технологии и фирмы будут все больше отставать. См. Преимущество первопроходца .

Смотрите также

Ссылки

  1. ^ Гроссберг, Стивен (1982), «Усиление контуров, кратковременная память и константы в реверберирующих нейронных сетях», Исследования разума и мозга , Бостонские исследования философии науки, т. 70, Дордрехт: Springer Netherlands, стр. 332–378, doi :10.1007/978-94-009-7758-7_8, ISBN 978-90-277-1360-5, получено 2022-11-05
  2. ^ Остер, Маттиас; Родни, Дуглас; Лю, Ши-Чи (2009). «Вычисления с шипами в сети «победитель получает все». Neural Computation . 21 (9): 2437–2465. doi :10.1162/neco.2009.07-08-829. PMID  19548795. S2CID  7259946.
  3. ^ Ризенхубер, Максимилиан; Поджо, Томазо (1999-11-01). «Иерархические модели распознавания объектов в коре головного мозга». Nature Neuroscience . 2 (11): 1019–1025. doi :10.1038/14819. ISSN  1097-6256. PMID  10526343. S2CID  8920227.
  4. ^ Карпентер, Гейл А. (1987). «Массовая параллельная архитектура для самоорганизующейся нейронной машины распознавания образов». Computer Vision, Graphics, and Image Processing . 37 (1): 54–115. doi :10.1016/S0734-189X(87)80014-2.
  5. ^ Итти, Лоран; Кох, Кристоф (1998). «Модель визуального внимания, основанного на заметности, для быстрого анализа сцены». Труды IEEE по анализу образов и машинному интеллекту . 20 (11): 1254–1259. doi :10.1109/34.730558. S2CID  3108956.
  6. ^ Маасс, Вольфганг (2000-11-01). «О вычислительной мощности принципа «победитель получает все». Neural Computation . 12 (11): 2519–2535. doi :10.1162/089976600300014827. ISSN  0899-7667. PMID  11110125. S2CID  10304135.
  7. ^ Лаззаро, Дж.; Рикебуш, С.; Маховальд, Массачусетс; Мид, Калифорния (1 января 1988 г.). «Сети сложности O(N) по принципу «победитель получает все». Форт Бельвуар, Вирджиния. дои : 10.21236/ada451466. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  8. ^ Scharstein, Daniel; Szeliski, Richard (2002). «Таксономия и оценка алгоритмов плотного двухкадрового стереосоответствия». International Journal of Computer Vision . 47 (1/3): 7–42. doi :10.1023/A:1014573219977. S2CID  195859047.