stringtranslate.com

Коннекционизм

Модель коннекционизма «второй волны» (ИНС) со скрытым слоем

Коннекционизм — это название подхода к изучению человеческих ментальных процессов и познания, который использует математические модели, известные как коннекционистские сети или искусственные нейронные сети. [1] Коннекционизм пережил много «волн» с момента своего зарождения.

Первая волна появилась в 1943 году, когда Уоррен Стерджис Маккалок и Уолтер Питтс сосредоточились на понимании нейронных цепей с помощью формального и математического подхода, [2] и Фрэнк Розенблатт, который опубликовал статью 1958 года «Персептрон: вероятностная модель для хранения и организации информации в мозге» в Psychological Review , работая в Корнеллской авиационной лаборатории. [3] Первая волна закончилась книгой 1969 года об ограничениях первоначальной идеи персептрона, написанной Марвином Мински и Сеймуром Папертом , которая способствовала тому, что крупные финансирующие агентства в США отказались от инвестиций в исследования коннекционизма. [4] С несколькими примечательными отклонениями большинство исследований коннекционизма вступили в период бездействия до середины 1980-х годов. Термин « модель коннекционизма» был вновь введен в статье 1982 года в журнале Cognitive Science Джеромом Фельдманом и Даной Баллард.

Вторая волна расцвела в конце 1980-х годов после книги 1987 года о параллельной распределенной обработке Джеймса Л. Макклелланда , Дэвида Э. Рамельхарта и др., которая представила несколько улучшений простой идеи персептрона, таких как промежуточные процессоры (теперь известные как « скрытые слои ») наряду с входными и выходными блоками, и использовала сигмоидальную функцию активации вместо старой функции «все или ничего». Их работа основывалась на работе Джона Хопфилда , который был ключевой фигурой, исследующей математические характеристики сигмоидальных функций активации. [3] С конца 1980-х до середины 1990-х годов коннекционизм приобрел почти революционный тон, когда Шнайдер, [5] Теренс Хорган и Тиенсон поставили вопрос о том, представляет ли коннекционизм фундаментальный сдвиг в психологии и так называемом «старомодном добром ИИ» или GOFAI . [3] Некоторые преимущества подхода коннекционистов второй волны включали его применимость к широкому спектру функций, структурное приближение к биологическим нейронам, низкие требования к врожденной структуре и способность к постепенной деградации . [6] Его недостатки включали сложность расшифровки того, как ИНС обрабатывают информацию или учитывают композиционность ментальных представлений, и вытекающую из этого сложность объяснения явлений на более высоком уровне. [7]

Текущая (третья) волна отмечена достижениями в области глубокого обучения , которые сделали возможным создание больших языковых моделей . [3] Успех сетей глубокого обучения за последнее десятилетие значительно увеличил популярность этого подхода, но сложность и масштаб таких сетей принесли с собой возросшие проблемы интерпретируемости . [8]

Основной принцип

Центральный принцип коннекционизма заключается в том, что ментальные явления могут быть описаны взаимосвязанными сетями простых и часто однородных единиц. Форма связей и единиц может варьироваться от модели к модели. Например, единицы в сети могут представлять нейроны , а связи могут представлять синапсы , как в человеческом мозге . Этот принцип рассматривался как альтернатива GOFAI и классическим теориям разума, основанным на символических вычислениях, но степень совместимости этих двух подходов была предметом многочисленных споров с момента их появления. [8]

Функция активации

Внутренние состояния любой сети со временем изменяются из-за того, что нейроны посылают сигнал на последующий слой нейронов в случае сети прямого распространения или на предыдущий слой в случае рекуррентной сети. Открытие нелинейных функций активации дало возможность второй волне коннекционизма.

Память и обучение

Нейронные сети следуют двум основным принципам:

  1. Любое психическое состояние можно описать как n -мерный вектор числовых значений активации нейронных единиц в сети.
  2. Память и обучение создаются путем изменения «весов» связей между нейронными единицами, обычно представленных в виде матрицы n × m . Веса корректируются в соответствии с некоторым правилом или алгоритмом обучения, например, обучением Хебба . [9]

Большая часть разнообразия моделей приходится на:

Биологический реализм

Работа коннекциониста в целом не обязательно должна быть биологически реалистичной. [10] [11] [12] [13] [14] [15] [16] Одна из областей, где модели коннекциониста считаются биологически неправдоподобными, касается сетей распространения ошибок, которые необходимы для поддержки обучения, [17] [18] но распространение ошибок может объяснить часть биологически генерируемой электрической активности, наблюдаемой на коже головы в потенциале, связанном с событиями , таком как N400 и P600 , [19] и это обеспечивает некоторую биологическую поддержку одному из ключевых предположений процедур коннекционистского обучения. Многие рекуррентные модели коннекциониста также включают в себя теорию динамических систем . Многие исследователи, такие как коннекционист Пол Смоленский , утверждали, что модели коннекциониста будут развиваться в направлении полностью непрерывных , многомерных, нелинейных , динамических системных подходов.

Прекурсоры

Предшественники принципов коннекционизма могут быть прослежены в ранних работах по психологии , таких как работа Уильяма Джеймса . [20] Психологические теории, основанные на знаниях о человеческом мозге, были модными в конце 19-го века. Еще в 1869 году невролог Джон Хьюлингс Джексон выступал за многоуровневые, распределенные системы. Следуя этому примеру, «Принципы психологии » Герберта Спенсера , 3-е издание (1872), и «Проект научной психологии » Зигмунда Фрейда (составленный в 1895 году) выдвинули теории коннекционизма или протоконнекционизма. Они, как правило, были спекулятивными теориями. Но к началу 20-го века Эдвард Торндайк писал о человеческом обучении , постулируя сеть типа коннекционизма. [21]

Сети Хопфилда имели предшественников в модели Изинга благодаря Вильгельму Ленцу (1920) и Эрнсту Изингу (1925), хотя модель Изинга, задуманная ими, не включала время. Моделирование модели Изинга методом Монте-Карло потребовало появления компьютеров в 1950-х годах. [22]

Первая волна

Первая волна началась в 1943 году с Уоррена Стерджиса Маккалока и Уолтера Питтса, которые сосредоточились на понимании нейронных схем с помощью формального и математического подхода. Маккалок и Питтс показали, как нейронные системы могут реализовать логику первого порядка : их классическая работа «Логическое исчисление идей, имманентных нервной деятельности» (1943) важна в этом развитии здесь. На них повлияли работы Николаса Рашевского в 1930-х годах и символическая логика в стиле Principia Mathematica . [23] [3]

Хебб внес большой вклад в размышления о нейронном функционировании и предложил принцип обучения, Хеббовское обучение . Лэшли утверждал, что распределенные представления являются результатом его неудачи в поиске чего-либо похожего на локализованную энграмму в годы экспериментов с повреждениями . Фридрих Хайек независимо задумал эту модель, сначала в краткой неопубликованной рукописи в 1920 году, [24] [25] затем расширил ее до книги в 1952 году. [26]

Машины персептрон были предложены и построены Фрэнком Розенблаттом , который опубликовал в 1958 году статью «Персептрон: вероятностная модель для хранения и организации информации в мозге» в Psychological Review , работая в Корнеллской авиационной лаборатории. Он назвал Хебба, Хайека, Аттли и Эшби основными источниками вдохновения.

Другой формой коннекционистской модели была реляционная сетевая структура, разработанная лингвистом Сидни Лэмбом в 1960-х годах.

Исследовательская группа под руководством Видроу эмпирически искала методы обучения двухслойных сетей ADALINE (MADALINE), но успех был ограниченным. [27] [28]

Метод обучения многослойных персептронов с произвольными уровнями обучаемых весов был опубликован Алексеем Григорьевичем Ивахненко и Валентином Лапой в 1965 году и назывался Групповым методом обработки данных . Этот метод использует пошаговое обучение по слоям на основе регрессионного анализа , где бесполезные элементы в скрытых слоях отсекаются с помощью проверочного набора. [29] [30] [31]

Первые многослойные персептроны, обученные стохастическим градиентным спуском [32], были опубликованы в 1967 году Шуничи Амари . [33] В компьютерных экспериментах, проведенных учеником Амари Сайто, пятислойный многослойный персептрон с двумя модифицируемыми слоями обучился полезным внутренним представлениям для классификации нелинейно разделимых классов образов. [30]

В 1972 году Шуничи Амари создал ранний пример самоорганизующейся сети . [34]

Нейросетевая зима

Среди исследователей искусственного интеллекта возникли разногласия по поводу того, для чего полезны нейронные сети. Примерно в конце 1960-х годов наблюдалось широкомасштабное затишье в исследованиях и публикациях по нейронным сетям, «зима нейронных сетей», которая продолжалась до 1970-х годов, в течение которых область искусственного интеллекта обратилась к символическим методам. Публикация книги «Персептроны» (1969) обычно рассматривается как катализатор этого события. [35] [36]

Вторая волна

Вторая волна началась в начале 1980-х годов. Некоторые ключевые публикации включали ( Джон Хопфилд , 1982) [37] , которая популяризировала сети Хопфилда , статью 1986 года, которая популяризировала обратное распространение, [38] и двухтомную книгу 1987 года о параллельной распределенной обработке (PDP) Джеймса Л. Макклелланда , Дэвида Э. Рамельхарта и др., которая представила несколько улучшений простой идеи персептрона, таких как промежуточные процессоры (теперь известные как « скрытые слои ») наряду с входными и выходными блоками и использование сигмоидальной функции активации вместо старой функции «все или ничего».

Хопфилд подошел к этой области с точки зрения статистической механики, предоставив некоторые ранние формы математической строгости, которые повысили воспринимаемую респектабельность этой области. [3] Другая важная серия публикаций доказала, что нейронные сети являются универсальными аппроксиматорами функций , что также обеспечило некоторую математическую респектабельность. [39]

В это время появились некоторые ранние популярные демонстрационные проекты. NETtalk (1987) научился произносить письменный английский. Он добился популярного успеха, появившись в шоу Today . [40] TD-Gammon (1992) достиг высшего человеческого уровня в нардах . [41]

Дискуссия о коннекционизме и вычислительности

Поскольку коннекционизм становился все более популярным в конце 1980-х годов, некоторые исследователи (включая Джерри Фодора , Стивена Пинкера и других) выступили против него. Они утверждали, что коннекционизм, как он тогда развивался, угрожал стереть то, что они считали прогрессом, достигнутым в областях когнитивной науки и психологии классическим подходом вычислительного искусства . Вычислительное искусство — это особая форма когнитивизма, которая утверждает, что умственная деятельность является вычислительной , то есть что разум действует, выполняя чисто формальные операции над символами, как машина Тьюринга . Некоторые исследователи утверждали, что тенденция в коннекционизме представляет собой возврат к ассоцианизму и отказ от идеи языка мысли , что они считали ошибочным. Напротив, именно эти тенденции сделали коннекционизм привлекательным для других исследователей.

Коннекционизм и вычислительный подход не обязательно должны быть в противоречии, но дебаты в конце 1980-х и начале 1990-х годов привели к противостоянию между двумя подходами. На протяжении всего обсуждения некоторые исследователи утверждали, что коннекционизм и вычислительный подход полностью совместимы, хотя полного консенсуса по этому вопросу достигнуто не было. Различия между двумя подходами включают следующее:

Несмотря на эти различия, некоторые теоретики предположили, что архитектура коннекционизма — это просто способ, которым органический мозг реализует систему манипуляции символами. Это логически возможно, поскольку хорошо известно, что модели коннекционизма могут реализовывать системы манипуляции символами того типа, который используется в вычислительных моделях, [42] поскольку они действительно должны быть в состоянии это сделать, если они хотят объяснить способность человека выполнять задачи по манипуляции символами. Было предложено несколько когнитивных моделей, сочетающих как символьно-манипулятивную, так и коннекционистскую архитектуру. Среди них — Интегрированная архитектура коннекционизма/символической когнитивной архитектуры (ICS) Пола Смоленского [8] [43] и CLARION (когнитивная архитектура) Рона Сана [ 43 ] . Но спор упирается в то, является ли эта манипуляция символами основой познания в целом, поэтому это не является потенциальным оправданием вычислительности. Тем не менее, вычислительные описания могут быть полезными высокоуровневыми описаниями познания логики, например.

Дискуссия в основном была сосредоточена на логических аргументах о том, могут ли коннекционистские сети производить синтаксическую структуру, наблюдаемую в этом виде рассуждений. Это было позже достигнуто, хотя и с использованием быстропеременных связывающих способностей, выходящих за рамки тех, которые стандартно предполагаются в коннекционистских моделях. [42] [44]

Часть привлекательности вычислительных описаний заключается в том, что их относительно легко интерпретировать, и, таким образом, их можно рассматривать как способствующие нашему пониманию конкретных ментальных процессов, тогда как коннекционистские модели в целом более непрозрачны, в той степени, в которой их можно описать только в очень общих терминах (таких как указание алгоритма обучения, количества единиц и т. д.) или в бесполезных низкоуровневых терминах. В этом смысле коннекционистские модели могут иллюстрировать и тем самым предоставлять доказательства для широкой теории познания (т. е. коннекционизма), не представляя полезной теории конкретного моделируемого процесса. В этом смысле спор можно рассматривать как в некоторой степени отражающий простое различие в уровне анализа, на котором сформулированы конкретные теории. Некоторые исследователи предполагают, что разрыв в анализе является следствием коннекционистских механизмов, приводящих к возникновению явлений , которые могут быть описаны в вычислительных терминах. [45]

В 2000-х годах популярность динамических систем в философии сознания добавила новую перспективу к дискуссии; [46] [47] некоторые авторы [ которые? ] теперь утверждают, что любой раскол между коннекционизмом и вычислительностью более убедительно характеризуется как раскол между вычислительностью и динамическими системами .

В 2014 году Алекс Грейвс и другие из DeepMind опубликовали серию статей, описывающих новую структуру Deep Neural Network, называемую Neural Turing Machine [48], способную считывать символы с ленты и сохранять символы в памяти. Relational Networks, еще один модуль Deep Network, опубликованный DeepMind, способен создавать объектно-подобные представления и манипулировать ими для ответа на сложные вопросы. Relational Networks и Neural Turing Machines являются еще одним доказательством того, что коннекционизм и вычислительность не обязательно должны противоречить друг другу.

Дебаты символизма и коннекционизма

Субсимволическая парадигма Смоленского [49] [50] должна ответить на вызов Фодора-Пилишина [51] [52] [53] [54], сформулированный классической теорией символов для убедительной теории познания в современном коннекционизме. Чтобы быть адекватной альтернативной теорией познания, Субсимволическая парадигма Смоленского должна была бы объяснить существование систематичности или систематических отношений в языковом познании без предположения, что когнитивные процессы каузально чувствительны к классической составной структуре ментальных представлений. Субсимволическая парадигма или коннекционизм в целом, таким образом, должны были бы объяснить существование систематичности и композиционности, не полагаясь на простую реализацию классической когнитивной архитектуры. Этот вызов подразумевает дилемму: если бы Субсимволическая парадигма не могла бы ничего внести в систематичность и композиционность ментальных представлений, она была бы недостаточной в качестве основы для альтернативной теории познания. Однако, если вклад Субсимволической парадигмы в систематичность требует ментальных процессов, основанных на классической составной структуре ментальных представлений, то теория познания, которую она развивает, будет, в лучшем случае, архитектурой реализации классической модели теории символов и, таким образом, не подлинной альтернативной (коннекционистской) теорией познания. [55] Классическая модель символизма характеризуется (1) комбинаторным синтаксисом и семантикой ментальных представлений и (2) ментальными операциями как структурно-чувствительными процессами, основанными на фундаментальном принципе синтаксической и семантической составной структуры ментальных представлений, как это используется в «Языке мысли (LOT)» Фодора. [56] [57] Это можно использовать для объяснения следующих тесно связанных свойств человеческого познания, а именно его (1) продуктивности, (2) системности, (3) композиционности и (4) выводной связности. [58]

Этот вызов был решен в современном коннекционизме, например, не только «Интегрированной коннекционистской/символической (ИКС) когнитивной архитектурой» Смоленского [59] [60] , но и «Осцилляционными сетями» Вернинга и Мэя [61] [62] [63] Обзор этого дается, например, Бехтелем и Абрахамсеном [64] , Маркусом [65] и Маурером [66] .

Смотрите также

Примечания

  1. ^ "Интернет-энциклопедия философии". iep.utm.edu . Получено 2023-08-19 .
  2. ^ Маккалок, Уоррен С.; Питтс, Уолтер (1943-12-01). «Логическое исчисление идей, имманентных нервной деятельности». Бюллетень математической биофизики . 5 (4): 115–133. doi :10.1007/BF02478259. ISSN  1522-9602.
  3. ^ abcdef Беркли, Иштван СН (2019). «Любопытный случай коннекционизма». Открытая философия . 2019 (2): 190–205. doi : 10.1515/opphil-2019-0018 . S2CID  201061823.
  4. ^ Боден, Маргарет (2006). Разум как машина: история когнитивной науки . Оксфорд: Oxford UP стр. 914. ISBN 978-0-262-63268-3.
  5. ^ Шнайдер, Уолтер (1987). «Коннекционизм: является ли это сдвигом парадигмы для психологии?». Методы исследования поведения, инструменты и компьютеры . 19 : 73–83. doi : 10.1515/opphil-2019-0018 . S2CID  201061823.
  6. ^ Маркус, Гэри Ф. (2001). Алгебраический разум: интеграция коннекционизма и когнитивной науки (обучение, развитие и концептуальные изменения) . Кембридж, Массачусетс: MIT Press. стр. 27–28. ISBN 978-0-262-63268-3.
  7. ^ Смоленский, Пол (1999). «Грамматически-ориентированные коннекционистские подходы к языку». Когнитивная наука . 23 (4): 589–613. doi : 10.1207/s15516709cog2304_9 .
  8. ^ abc Гарсон, Джеймс (27 ноября 2018 г.). Залта, Эдвард Н. (ред.). Стэнфордская энциклопедия философии. Исследовательская лаборатория метафизики, Стэнфордский университет – через Стэнфордскую энциклопедию философии.
  9. ^ Ново, Мария-Луиза; Альсина, Анхель; Марбан, Хосе-Мария; Берсиано, Эноа (2017). «Связной интеллект для детского математического образования». Комуникар (на испанском языке). 25 (52): 29–39. дои : 10.3916/c52-2017-03 . hdl : 10272/14085 . ISSN  1134-3478.
  10. ^ "Encephalos Journal". www.encephalos.gr . Получено 20.02.2018 .
  11. ^ Уилсон, Элизабет А. (2016-02-04). Нейронные географии: феминизм и микроструктура познания. Routledge. ISBN 978-1-317-95876-5.
  12. ^ Ди Паоло, EA (1 января 2003 г.). «Организменно-вдохновленная робототехника: гомеостатическая адаптация и телеология за пределами замкнутого сенсомоторного цикла» (PDF) . Динамический системный подход к воплощению и социальности, Advanced Knowledge International . Университет Сассекса . S2CID  15349751 . Получено 29 декабря 2023 г. .
  13. ^ Zorzi, Marco; Testolin, Alberto; Stoianov, Ivilin P. (2013-08-20). «Моделирование языка и познания с глубоким неконтролируемым обучением: обзор учебного пособия». Frontiers in Psychology . 4 : 515. doi : 10.3389/fpsyg.2013.00515 . ISSN  1664-1078. PMC 3747356. PMID 23970869  . 
  14. ^ Tieszen, R. (2011). «Аналитическая и континентальная философия, наука и глобальная философия». Сравнительная философия . 2 (2): 4–22 . Получено 29 декабря 2023 г.
  15. ^ Браун, А. (1997-01-01). Перспективы нейронных сетей в познании и адаптивной робототехнике. CRC Press. ISBN 978-0-7503-0455-9.
  16. ^ Пфайфер, Р.; Шретер, З.; Фогельман-Сулье, Ф.; Стилз, Л. (23 августа 1989 г.). Коннекционизм в перспективе. Эльзевир. ISBN 978-0-444-59876-9.
  17. ^ Крик, Фрэнсис (январь 1989). «Недавнее волнение вокруг нейронных сетей». Nature . 337 (6203): 129–132. Bibcode :1989Natur.337..129C. doi :10.1038/337129a0. ISSN  1476-4687. PMID  2911347. S2CID  5892527.
  18. ^ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (октябрь 1986 г.). «Изучение представлений с помощью обратного распространения ошибок». Nature . 323 (6088): 533–536. Bibcode :1986Natur.323..533R. doi :10.1038/323533a0. ISSN  1476-4687. S2CID  205001834.
  19. ^ Фиц, Хартмут; Чанг, Франклин (2019-06-01). «Языковые ERP отражают обучение через распространение ошибок предсказания». Когнитивная психология . 111 : 15–52. doi :10.1016/j.cogpsych.2019.03.002. hdl : 21.11116/0000-0003-474F-6 . ISSN  0010-0285. PMID  30921626. S2CID  85501792.
  20. ^ Андерсон, Джеймс А.; Розенфельд, Эдвард (1989). "Глава 1: (1890) Психология Уильяма Джеймса (Краткий курс) ". Нейрокомпьютинг: основы исследований . Книга Брэдфорда. стр. 1. ISBN 978-0-262-51048-6.
  21. ^ Эдвард Торндайк (1931) Человеческое обучение, стр. 122
  22. ^ Браш, Стивен Г. (1967). «История модели Ленца-Изинга». Reviews of Modern Physics . 39 (4): 883–893. Bibcode : 1967RvMP...39..883B. doi : 10.1103/RevModPhys.39.883.
  23. ^ Маккалок, Уоррен С.; Питтс, Уолтер (1943-12-01). «Логическое исчисление идей, имманентных нервной деятельности». Бюллетень математической биофизики . 5 (4): 115–133. doi :10.1007/BF02478259. ISSN  1522-9602.
  24. ^ Хайек, Фридрих А. [1920] 1991. Beiträge zur Theorie der Entwicklung des Bewusstseins [Вклад в теорию развития сознания]. Рукопись в переводе Греты Хайнц.
  25. ^ Колдуэлл, Брюс (2004). «Некоторые размышления о «Сенсорном порядке» Ф. А. Хайека». Журнал биоэкономики . 6 (3): 239–254. doi :10.1007/s10818-004-5505-9. ISSN  1387-6996. S2CID  144437624.
  26. ^ Хайек, ФА (2012-09-15). Сенсорный порядок: исследование основ теоретической психологии (1-е изд.). Издательство Чикагского университета.
  27. ^ С. 124-129, Олазаран Родригес, Хосе Мигель. Историческая социология исследований нейронных сетей . Кандидатская диссертация. Эдинбургский университет, 1991.
  28. ^ Видроу, Б. (1962) Обобщение и хранение информации в сетях «нейронов» ADALINE . В MC Yovits, GT Jacobi, & GD Goldstein (ред.), Self-Organizing Svstems-1962 (стр. 435-461). Вашингтон, округ Колумбия: Spartan Books.
  29. ^ Ивахненко, АГ; Григорьевич Лапа, Валентин (1967). Кибернетика и методы прогнозирования. American Elsevier Pub. Co.
  30. ^ ab Шмидхубер, Юрген (2022). «Аннотированная история современного ИИ и глубокого обучения». arXiv : 2212.11279 [cs.NE].
  31. ^ Ивахненко, А. Г. (1973). Кибернетические предсказывающие устройства. CCM Information Corporation.
  32. ^ Роббинс, Х.; Монро, С. (1951). «Метод стохастической аппроксимации». Анналы математической статистики . 22 (3): 400. doi : 10.1214/aoms/1177729586 .
  33. ^ Амари, Шуничи (1967). «Теория адаптивного классификатора шаблонов». IEEE Transactions . EC (16): 279–307.
  34. ^ Амари, С.-И. (ноябрь 1972 г.). «Изучение шаблонов и последовательностей шаблонов с помощью самоорганизующихся сетей пороговых элементов». Труды IEEE по компьютерам . C-21 (11): 1197–1206. doi :10.1109/TC.1972.223477. ISSN  0018-9340.
  35. ^ Олазаран, Микель (1993-01-01), «Социологическая история спора о нейронных сетях», в Yovits, Marshall C. (ред.), Advances in Computers Volume 37 , т. 37, Elsevier, стр. 335–425, doi :10.1016/S0065-2458(08)60408-8, ISBN 978-0-12-012137-3, получено 2024-08-07
  36. ^ Олазаран, Микель (август 1996 г.). «Социологическое исследование официальной истории спора о персептронах». Социальные исследования науки . 26 (3): 611–659. doi :10.1177/030631296026003005. ISSN  0306-3127.
  37. ^ Хопфилд, Дж. Дж. (апрель 1982 г.). «Нейронные сети и физические системы с возникающими коллективными вычислительными способностями». Труды Национальной академии наук . 79 (8): 2554–2558. Bibcode : 1982PNAS...79.2554H. doi : 10.1073/pnas.79.8.2554 . ISSN  0027-8424. PMC 346238. PMID 6953413  . 
  38. ^ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (октябрь 1986 г.). «Изучение представлений с помощью обратного распространения ошибок». Nature . 323 (6088): 533–536. Bibcode :1986Natur.323..533R. doi :10.1038/323533a0. ISSN  1476-4687.
  39. ^ Цыбенко, Г. (1989-12-01). «Аппроксимация суперпозициями сигмоидальной функции». Математика управления, сигналов и систем . 2 (4): 303–314. Bibcode :1989MCSS....2..303C. doi :10.1007/BF02551274. ISSN  1435-568X.
  40. ^ Sejnowski, Terrence J. (2018). Революция глубокого обучения . Кембридж, Массачусетс Лондон, Англия: The MIT Press. ISBN 978-0-262-03803-4.
  41. ^ Сэммут, Клод; Уэбб, Джеффри И., ред. (2010), «TD-Gammon», Энциклопедия машинного обучения , Бостон, Массачусетс: Springer US, стр. 955–956, doi :10.1007/978-0-387-30164-8_813, ISBN 978-0-387-30164-8, получено 2023-12-25
  42. ^ ab Chang, Franklin (2002). «Символически говоря: коннекционистская модель производства предложений». Cognitive Science . 26 (5): 609–651. doi : 10.1207/s15516709cog2605_3 . ISSN  1551-6709.
  43. ^ Смоленский, Пол (1990). «Связывание переменных тензорного произведения и представление символических структур в коннекционистских системах» (PDF) . Искусственный интеллект . 46 (1–2): 159–216. doi :10.1016/0004-3702(90)90007-M.
  44. ^ Шастри, Локендра; Аджанагадде, Венкат (сентябрь 1993 г.). «От простых ассоциаций к систематическому рассуждению: коннекционистское представление правил, переменных и динамических связываний с использованием временной синхронии». Поведенческие и мозговые науки . 16 (3): 417–451. doi :10.1017/S0140525X00030910. ISSN  1469-1825. S2CID  14973656.
  45. ^ Эллис, Ник С. (1998). «Эмерджентизм, коннекционизм и изучение языка» (PDF) . Изучение языка . 48 (4): 631–664. doi :10.1111/0023-8333.00063.
  46. ^ Ван Гелдер, Тим (1998), «Динамическая гипотеза в когнитивной науке», Behavioral and Brain Sciences , 21 (5): 615–28, обсуждение 629–65, doi : 10.1017/S0140525X98001733, PMID  10097022 , получено 28 мая 2022 г.
  47. ^ Бир, Рэндалл Д. (март 2000 г.). «Динамические подходы к когнитивной науке». Тенденции в когнитивных науках . 4 (3): 91–99. doi :10.1016/s1364-6613(99)01440-0. ISSN  1364-6613. PMID  10689343. S2CID  16515284.
  48. ^ Грейвс, Алекс (2014). «Нейронные машины Тьюринга». arXiv : 1410.5401 [cs.NE].
  49. ^ П. Смоленский: О правильном подходе к коннекционизму. В: Поведенческие и мозговые науки. Группа 11, 1988, С. 1-74.
  50. ^ П. Смоленский: Составляющая структура коннекционистских ментальных состояний: ответ Фодору и Пилишину. В: T. Horgan, J. Tienson (Hrsg.): Spindel Conference 1987: Connectionism and the Philosophy of Mind. The Southern Journal of Philosophy. Специальный выпуск о коннекционизме и основах когнитивной науки. Приложение. Band 26, 1988, S. 137-161.
  51. ^ JA Fodor, ZW Pylyshyn: Коннекционизм и когнитивная архитектура: критический анализ. Cognition. Band 28, 1988, S. 12-13, 33-50.
  52. ^ JA Fodor, B. McLaughlin: Коннекционизм и проблема системности: почему решение Смоленского не работает. Cognition. Band 35, 1990, S. 183-184.
  53. ^ Б. Маклафлин: Битва коннекционизма и классицизма за души. Философские исследования, Band 71, 1993, S. 171-172.
  54. ^ Б. Маклафлин: Может ли архитектура ИКС соответствовать проблемам систематичности и производительности? В: П. Кальво, Дж. Саймонс (Hrsg.): Архитектура познания. Переосмысление проблемы систематичности Фодора и Пилишина. MIT Press, Кембридж/Массачусетс, Лондон, 2014, С. 31-76.
  55. ^ JA Fodor, B. McLaughlin: Коннекционизм и проблема системности: почему решение Смоленского не работает. Cognition. Band 35, 1990, S. 183-184.
  56. ^ JA Fodor: Язык мысли. Harvester Press, Сассекс, 1976, ISBN 0-85527-309-7.
  57. ^ JA Fodor: LOT 2: Пересмотр языка мысли. Clarendon Press, Оксфорд, 2008, ISBN 0-19-954877-3.
  58. ^ Я. А. Фодор, З. В. Пилишин (1988), С. 33-48.
  59. ^ P. Smolenky: Ответ: Составляющая структура и объяснение в интегрированной коннекционистской / символической когнитивной архитектуре. В: C. MacDonald, G. MacDonald (Hrsg.): Коннекционизм: Дебаты о психологическом объяснении. Blackwell Publishers. Oxford/UK, Cambridge/MA. Vol. 2, 1995, S. 224, 236-239, 242-244, 250-252, 282.
  60. ^ П. Смоленский, Г. Лежандр: Гармонический разум: от нейронных вычислений к оптимально-теоретической грамматике. Том 1: Когнитивная архитектура. A Bradford Book, The MIT Press, Кембридж, Лондон, 2006a, ISBN 0-262-19526-7, S. 65-67, 69-71, 74-75, 154-155, 159-202, 209-210, 235-267, 271-342, 513.
  61. ^ М. Вернинг: Нейронная синхронизация, ковариация и композиционное представление. В: М. Вернинг, Э. Мачери, Г. Шурц (Hrsg.): Композиционность значения и содержания. Том II: Приложения к лингвистике, психологии и нейронауке. Ontos Verlag, 2005, S. 283-312.
  62. ^ М. Вернинг: Несимволическое композиционное представление и его нейронная основа: к эмулятивной семантике. В: М. Вернинг, В. Хинцен, Э. Машери (Hrsg.): Оксфордский справочник по композиционности. Oxford University Press, 2012, S. 633-654.
  63. ^ А. Майе и М. Вернинг: Нейронная синхронизация: от привязки динамических признаков к композиционным представлениям. Chaos and Complexity Letters, Band 2, S. 315-325.
  64. ^ Bechtel, W., Abrahamsen, AA Коннекционизм и разум: параллельная обработка, динамика и эволюция в сетях. 2-е издание. Blackwell Publishers, Оксфорд. 2002
  65. ^ GF Marcus: Алгебраический разум. Интеграция коннекционизма и когнитивной науки. Bradford Book, The MIT Press, Кембридж, 2001, ISBN 0-262-13379-2.
  66. ^ Х. Маурер: Когнитивная наука: Интегративные механизмы синхронизации в когнитивных нейроархитектурах современного коннекционизма. CRC Press, Бока-Ратон/Флорида, 2021, ISBN 978-1-351-04352-6. https://doi.org/10.1201/9781351043526

Ссылки

Внешние ссылки

Послушайте эту статью ( 19 минут )
Разговорный значок Википедии
Этот аудиофайл был создан на основе редакции этой статьи от 26 ноября 2011 года и не отражает последующие правки. ( 2011-11-26 )
( Аудиопомощь  · Больше устных статей )