В искусственном интеллекте символьный искусственный интеллект (также известный как классический искусственный интеллект или искусственный интеллект на основе логики ) [1] [2] — это термин для обозначения всех методов в исследовании искусственного интеллекта, которые основаны на высокоуровневых символьных (удобочитаемых) представлениях проблем, логики и поиска . [3] Символический ИИ использовал такие инструменты, как логическое программирование , правила производства , семантические сети и фреймы , и разработал такие приложения, как системы, основанные на знаниях (в частности, экспертные системы ), символическая математика , автоматизированные доказательные устройства теорем , онтологии , семантическая сеть и автоматизированные системы планирования и составления расписаний . Парадигма символического ИИ привела к основополагающим идеям в поиске , символических языках программирования, агентах , многоагентных системах , семантической сети , а также сильных и слабых сторонах формальных систем знаний и рассуждений .
Символический ИИ был доминирующей парадигмой исследований ИИ с середины 1950-х до середины 1990-х годов. [4] Исследователи 1960-х и 1970-х годов были убеждены, что символические подходы в конечном итоге приведут к созданию машины с общим искусственным интеллектом , и считали это конечной целью своей области. [ требуется ссылка ] Ранний бум с ранними успехами, такими как Logic Theorist и Samuel 's Checkers Playing Program , привел к нереалистичным ожиданиям и обещаниям и сменился первой зимней ИИ , поскольку финансирование иссякло. [5] [6] Второй бум (1969–1986) произошел с появлением экспертных систем, их обещанием охватить корпоративный опыт и восторженным корпоративным принятием. [7] [8] Этот бум и некоторые ранние успехи, например, с XCON в DEC , снова сменились более поздним разочарованием. [8] Возникли проблемы с трудностями в получении знаний, поддержании больших баз знаний и хрупкостью в решении проблем, выходящих за рамки предметной области. Затем последовал еще один, второй, AI Winter (1988–2011). [9] Впоследствии исследователи ИИ сосредоточились на решении основных проблем в обработке неопределенности и в приобретении знаний. [10] Неопределенность была решена с помощью формальных методов, таких как скрытые марковские модели , байесовские рассуждения и статистическое реляционное обучение . [11] [12] Символическое машинное обучение решило проблему приобретения знаний с помощью таких вкладов, как Version Space , обучение PAC Valiant , обучение на основе дерева решений ID3 Quinlan , обучение на основе прецедентов и индуктивное логическое программирование для изучения отношений. [13]
Нейронные сети , субсимволический подход, разрабатывались с ранних дней и вновь активно появились в 2012 году. Ранними примерами являются работа Розенблатта по обучению персептрону , работа Рамельхарта, Хинтона и Уильямса по обратному распространению [14] и работа Лекуна и др. в области сверточных нейронных сетей в 1989 году [15]. Однако нейронные сети не считались успешными до 2012 года: «Пока большие данные не стали обычным явлением, в сообществе ИИ существовало общее мнение, что так называемый подход нейронных сетей безнадежен. Системы просто не работали так хорошо по сравнению с другими методами. ... Революция произошла в 2012 году, когда ряд людей, включая группу исследователей, работающих с Хинтоном, разработали способ использования мощности графических процессоров для значительного увеличения мощности нейронных сетей». [16] В течение следующих нескольких лет глубокое обучение имело впечатляющий успех в обработке зрения, распознавании речи , синтезе речи, генерации изображений и машинном переводе. Однако с 2020 года, поскольку присущие подходам к глубокому обучению трудности с предвзятостью, объяснением, понятностью и надежностью стали более очевидными, все больше исследователей ИИ призывают объединить лучшее из символического и нейронного подходов [17] [18] и обратиться к областям, в которых оба подхода испытывают трудности, таким как рассуждения на основе здравого смысла . [16]
Ниже приводится краткая история символического ИИ до наших дней. Временные периоды и названия взяты из мемориальной лекции Генри Каутца AAAI Роберта С. Энгельмора 2020 года [19] и более длинной статьи Википедии об истории ИИ , с немного отличающимися датами и названиями для большей ясности.
Успех ранних попыток в области ИИ наблюдался в трех основных областях: искусственные нейронные сети, представление знаний и эвристический поиск, что способствовало высоким ожиданиям. В этом разделе кратко излагается повторение Каутцем ранней истории ИИ.
Кибернетические подходы пытались воспроизвести петли обратной связи между животными и их средой. Роботизированная черепаха с датчиками, двигателями для движения и рулевого управления и семью вакуумными трубками для управления, основанная на предварительно запрограммированной нейронной сети, была построена еще в 1948 году. Эту работу можно рассматривать как раннюю предшественницу более поздних работ в области нейронных сетей, обучения с подкреплением и ситуативной робототехники. [20]
Важной ранней символической программой ИИ была Logic theorist , написанная Алленом Ньюэллом , Гербертом Саймоном и Клиффом Шоу в 1955–56 годах, поскольку она смогла доказать 38 элементарных теорем из Principia Mathematica Уайтхеда и Рассела . Ньюэлл, Саймон и Шоу позже обобщили эту работу, чтобы создать независимый от области решатель проблем, GPS (General Problem Solver). GPS решал проблемы, представленные формальными операторами, с помощью поиска в пространстве состояний с использованием анализа средств и целей . [21]
В 1960-х годах символические подходы достигли большого успеха в моделировании интеллектуального поведения в структурированных средах, таких как игры, символическая математика и доказательство теорем. Исследования ИИ были сосредоточены в четырех учреждениях в 1960-х годах: Университет Карнеги-Меллона , Стэнфорд , Массачусетский технологический институт и (позже) Эдинбургский университет . Каждый из них разработал свой собственный стиль исследований. Более ранние подходы, основанные на кибернетике или искусственных нейронных сетях, были заброшены или отодвинуты на задний план.
Герберт Саймон и Аллен Ньюэлл изучали человеческие навыки решения проблем и пытались формализовать их, и их работа заложила основы области искусственного интеллекта, а также когнитивной науки , исследования операций и науки управления . Их исследовательская группа использовала результаты психологических экспериментов для разработки программ, которые имитировали методы, используемые людьми для решения проблем. [22] [23] Эта традиция, сосредоточенная в Университете Карнеги-Меллона, в конечном итоге достигла кульминации в разработке архитектуры Soar в середине 1980-х годов. [24] [25]
В дополнение к узкоспециализированным предметно-ориентированным видам знаний, которые мы увидим позже в экспертных системах, ранние исследователи символического ИИ открыли еще одно более общее применение знаний. Они назывались эвристиками, практическими правилами, которые направляют поиск в перспективных направлениях: «Как неперечислимый поиск может быть практичным, когда основная проблема экспоненциально сложна? Подход, пропагандируемый Саймоном и Ньюэллом, заключается в использовании эвристик : быстрых алгоритмов, которые могут давать сбой на некоторых входах или выдавать неоптимальные решения». [26] Другим важным достижением было найти способ применения этих эвристик, который гарантирует, что решение будет найдено, если оно есть, несмотря на случайную ошибочность эвристик: « Алгоритм A* предоставил общую основу для полного и оптимального эвристически управляемого поиска. A* используется как подпрограмма практически в каждом алгоритме ИИ сегодня, но все еще не является волшебной палочкой; его гарантия полноты покупается ценой экспоненциального времени в худшем случае. [26]
Ранние работы охватывали как применение формальных рассуждений с упором на логику первого порядка , так и попытки трактовать рассуждения здравого смысла менее формальным образом.
В отличие от Саймона и Ньюэлла, Джон Маккарти считал, что машинам не нужно моделировать точные механизмы человеческого мышления, а вместо этого можно попытаться найти суть абстрактного рассуждения и решения проблем с помощью логики, [27] независимо от того, используют ли люди те же алгоритмы. [a] Его лаборатория в Стэнфорде ( SAIL ) сосредоточилась на использовании формальной логики для решения широкого спектра задач, включая представление знаний , планирование и обучение . [31] Логика также была в центре внимания работы в Эдинбургском университете и в других местах Европы, что привело к разработке языка программирования Prolog и науки логического программирования. [32] [33]
Исследователи из Массачусетского технологического института (такие как Марвин Мински и Сеймур Паперт ) [34] [35] [6] обнаружили, что решение сложных проблем в области зрения и обработки естественного языка требует специальных решений — они утверждали, что ни один простой и общий принцип (вроде логики ) не сможет охватить все аспекты интеллектуального поведения. Роджер Шенк описал их «антилогические» подходы как « неряшливые » (в отличие от « аккуратных » парадигм в CMU и Стэнфорде). [36] [37] Базы знаний здравого смысла (такие как Cyc Дуга Лената ) являются примером «неряшливого» ИИ, поскольку их нужно создавать вручную, по одной сложной концепции за раз. [38] [39] [40]
Первая зима ИИ стала шоком:
В первое лето ИИ многие думали, что машинный интеллект может быть достигнут всего за несколько лет. Агентство перспективных исследовательских проектов Министерства обороны (DARPA) запустило программы поддержки исследований ИИ для использования ИИ для решения проблем национальной безопасности; в частности, для автоматизации перевода с русского на английский для разведывательных операций и создания автономных танков для поля боя. Исследователи начали понимать, что достижение ИИ будет намного сложнее, чем предполагалось десятилетием ранее, но сочетание высокомерия и неискренности заставило многих исследователей из университетов и аналитических центров принять финансирование с обещаниями результатов, которые они должны были знать, что не смогут выполнить. К середине 1960-х годов не были созданы ни полезные системы перевода на естественный язык, ни автономные танки, и началась резкая ответная реакция. Новое руководство DARPA отменило существующие программы финансирования ИИ.
...
За пределами Соединенных Штатов наиболее плодородной почвой для исследований ИИ была Великобритания. Зима ИИ в Великобритании была спровоцирована не столько разочарованными военными лидерами, сколько конкурирующими учеными, которые считали исследователей ИИ шарлатанами и утечкой финансирования исследований. Профессор прикладной математики сэр Джеймс Лайтхилл был уполномочен парламентом оценить состояние исследований ИИ в стране . В отчете говорилось, что все проблемы, над которыми работают исследователи в области ИИ, будут лучше решаться исследователями из других дисциплин, таких как прикладная математика. В отчете также утверждалось, что успехи ИИ в решении игрушечных задач никогда не смогут масштабироваться до приложений в реальном мире из-за комбинаторного взрыва. [41]
Поскольку ограничения слабых, предметно-независимых методов становились все более очевидными, [42] исследователи всех трех традиций начали встраивать знания в приложения ИИ. [43] [7] Революция знаний была вызвана осознанием того, что знания лежат в основе высокопроизводительных, предметно-ориентированных приложений ИИ.
Эдвард Фейгенбаум сказал:
чтобы описать, что высокая производительность в определенной области требует как общих, так и узкоспециализированных знаний. Эд Фейгенбаум и Дуг Ленат назвали это Принципом Знания:
(1) Принцип знаний: если программа должна хорошо выполнять сложную задачу, она должна много знать о мире, в котором она работает.
(2) Правдоподобное расширение этого принципа, называемое гипотезой широты: существуют две дополнительные способности, необходимые для разумного поведения в неожиданных ситуациях: опора на все более общие знания и аналогия с конкретными, но обширными знаниями. [45]
Эта «революция знаний» привела к разработке и внедрению экспертных систем (представленных Эдвардом Фейгенбаумом ), первой коммерчески успешной формы программного обеспечения ИИ. [46] [47] [48]
Ключевыми экспертными системами были:
DENDRAL считается первой экспертной системой, которая опиралась на решение проблем, требующих больших знаний. Ниже она описана Эдом Фейгенбаумом из интервью Communications of the ACM , Interview with Ed Feigenbaum:
Одним из людей в Стэнфорде, интересующихся компьютерными моделями разума, был Джошуа Ледерберг , лауреат Нобелевской премии по генетике 1958 года. Когда я сказал ему, что мне нужна индукционная «песочница», он ответил: «У меня есть как раз то, что вам нужно». Его лаборатория занималась масс-спектрометрией аминокислот. Вопрос был в том, как перейти от изучения спектра аминокислоты к химической структуре аминокислоты? Вот как мы начали проект DENDRAL: я был хорош в эвристических методах поиска, а у него был алгоритм, который хорошо генерировал химическое проблемное пространство.
У нас не было грандиозного видения. Мы работали снизу вверх. Нашим химиком был Карл Джерасси , изобретатель химического вещества, лежащего в основе противозачаточных таблеток, а также один из самых уважаемых в мире масс-спектрометристов. Карл и его постдокторанты были экспертами мирового класса в масс-спектрометрии. Мы начали добавлять к их знаниям, изобретая знания в области инженерии по мере продвижения. Эти эксперименты сводились к титрованию DENDRAL все большего и большего количества знаний. Чем больше вы это делали, тем умнее становилась программа. У нас были очень хорошие результаты.
Обобщение было: в знании заключена сила. Это была большая идея. В моей карьере это огромное «Ага!», и это не было способом, которым ИИ делался раньше. Звучит просто, но это, вероятно, самое мощное обобщение ИИ. [51]
Другие экспертные системы, упомянутые выше, появились после DENDRAL. MYCIN является примером классической архитектуры экспертной системы базы знаний правил, связанных с символическим механизмом рассуждения, включая использование факторов определенности для обработки неопределенности. GUIDON показывает, как явная база знаний может быть повторно использована для второго приложения, обучения, и является примером интеллектуальной системы обучения , особого вида приложения, основанного на знаниях. Кланси показал, что недостаточно просто использовать правила MYCIN для обучения, но что ему также необходимо добавить правила для управления диалогами и моделирования студентов. [50] XCON имеет важное значение из-за миллионов долларов, которые он сэкономил DEC , что вызвало бум экспертных систем, когда большинство всех крупных корпораций в США имели группы экспертных систем, чтобы захватить корпоративную экспертизу, сохранить ее и автоматизировать:
К 1988 году группа искусственного интеллекта DEC развернула 40 экспертных систем, и их число было на подходе. У DuPont было 100 используемых и 500 разрабатываемых систем. Почти каждая крупная корпорация США имела свою собственную группу искусственного интеллекта и либо использовала, либо исследовала экспертные системы. [49]
Знания экспертов по шахматам были закодированы в Deep Blue . В 1996 году это позволило Deep Blue от IBM с помощью символического ИИ выиграть в шахматной партии у чемпиона мира того времени Гарри Каспарова . [52]
Ключевым компонентом архитектуры системы для всех экспертных систем является база знаний, которая хранит факты и правила для решения проблем. [53] Самый простой подход к базе знаний экспертной системы — это просто коллекция или сеть правил производства . Правила производства связывают символы в отношения, подобные утверждению «Если-то». Экспертная система обрабатывает правила, чтобы сделать выводы и определить, какая дополнительная информация ей нужна, т. е. какие вопросы задавать, используя понятные человеку символы. Например, OPS5 , CLIPS и их преемники Jess и Drools работают таким образом.
Экспертные системы могут работать либо в прямой цепочке — от доказательств к выводам — либо в обратной цепочке — от целей к необходимым данным и предпосылкам — способом. Более продвинутые системы, основанные на знаниях, такие как Soar, также могут выполнять метауровневые рассуждения, то есть рассуждения о собственных рассуждениях с точки зрения принятия решения о том, как решать проблемы, и мониторинга успешности стратегий решения проблем.
Системы Blackboard являются вторым видом архитектуры систем, основанных на знаниях или экспертных систем . Они моделируют сообщество экспертов, которые постепенно вносят свой вклад, где могут, для решения проблемы. Проблема представлена на нескольких уровнях абстракции или альтернативных представлениях. Эксперты (источники знаний) добровольно предлагают свои услуги всякий раз, когда понимают, что могут внести свой вклад. Потенциальные действия по решению проблемы представлены в повестке дня, которая обновляется по мере изменения проблемной ситуации. Контроллер решает, насколько полезен каждый вклад, и кто должен выполнить следующее действие по решению проблемы. Одним из примеров является архитектура Blackboard BB1 [54], которая изначально была вдохновлена исследованиями того, как люди планируют выполнять несколько задач в поездке. [55] Инновацией BB1 было применение той же модели Blackboard для решения своей проблемы управления, т. е. ее контроллер выполнял рассуждения на метауровне с источниками знаний, которые отслеживали, насколько хорошо продвигался план или решение проблемы, и мог переключаться с одной стратегии на другую по мере изменения условий, таких как цели или время. BB1 применялся во многих областях: планирование строительной площадки, интеллектуальные системы обучения и мониторинг пациентов в реальном времени.
На пике бума ИИ такие компании, как Symbolics , LMI и Texas Instruments, продавали машины LISP, специально предназначенные для ускорения разработки приложений и исследований ИИ. Кроме того, несколько компаний, занимающихся искусственным интеллектом, такие как Teknowledge и Inference Corporation , продавали оболочки экспертных систем, обучение и консалтинг корпорациям.
К сожалению, бум ИИ не продлился долго, и Каутц лучше всего описывает последовавшую за этим вторую зиму ИИ:
Можно привести множество причин наступления второй зимы ИИ. Компании-производители оборудования потерпели неудачу, когда на рынке появились гораздо более экономичные общие рабочие станции Unix от Sun вместе с хорошими компиляторами для LISP и Prolog. Многие коммерческие развертывания экспертных систем были прекращены, когда их поддержка оказалась слишком дорогой. Медицинские экспертные системы так и не прижились по нескольким причинам: сложность поддержания их в актуальном состоянии; проблема для медицинских специалистов, которые должны были научиться использовать ошеломляющее разнообразие различных экспертных систем для различных медицинских состояний; и, возможно, самое главное, нежелание врачей доверять компьютерному диагнозу больше, чем своей интуиции, даже в определенных областях, где экспертные системы могли превзойти среднего врача. Венчурные деньги покинули ИИ практически в одночасье. Всемирная конференция по ИИ IJCAI организовала огромную и роскошную торговую выставку и тысячи неакадемических посетителей в 1987 году в Ванкувере; главная конференция по ИИ в следующем году, AAAI 1988 в Сент-Поле, была небольшим и строго академическим мероприятием. [9]
Были испробованы как статистические подходы, так и расширения логики.
Один статистический подход, скрытые марковские модели , уже был популяризирован в 1980-х годах для работы по распознаванию речи. [11] Впоследствии, в 1988 году, Джуда Перл популяризировал использование байесовских сетей как надежного, но эффективного способа обработки неопределенных рассуждений, опубликовав книгу «Вероятностное рассуждение в интеллектуальных системах: сети правдоподобного вывода». [56] и байесовские подходы были успешно применены в экспертных системах. [57] Еще позже, в 1990-х годах, статистическое реляционное обучение, подход, который объединяет вероятность с логическими формулами, позволило объединить вероятность с логикой первого порядка, например, с марковскими логическими сетями или вероятностной мягкой логикой .
Также были опробованы другие, не вероятностные расширения логики первого порядка для поддержки. Например, немонотонные рассуждения могли использоваться с системами поддержания истины . Система поддержания истины отслеживала предположения и обоснования для всех выводов. Она позволяла отменять выводы, когда предположения оказывались неверными или вытекало противоречие. Объяснения для вывода могли быть предоставлены путем объяснения того, какие правила были применены для его создания, а затем продолжения через базовые выводы и правила вплоть до корневых предположений. [58] Лофти Заде ввел другой вид расширения для обработки представления неопределенности. Например, при решении того, насколько «тяжелым» или «высоким» является человек, часто нет четкого ответа «да» или «нет», и предикат для тяжелого или высокого вместо этого возвращал бы значения от 0 до 1. Эти значения представляли, в какой степени предикаты были истинными. Его нечеткая логика далее предоставила средство для распространения комбинаций этих значений с помощью логических формул. [59]
Подходы символического машинного обучения были исследованы для устранения узкого места в приобретении знаний . Одним из самых ранних является Meta-DENDRAL . Meta-DENDRAL использовал технику генерации и проверки для генерации правдоподобных гипотез правил для проверки по спектрам. Знание предметной области и задачи сократило количество протестированных кандидатов до управляемого размера. Фейгенбаум описал Meta-DENDRAL как
...кульминация моей мечты начала-середины 1960-х годов, связанной с формированием теории. Концепция заключалась в том, что у вас есть решатель проблем, такой как DENDRAL, который брал некоторые входные данные и производил выходные данные. При этом он использовал слои знаний, чтобы направлять и сокращать поиск. Эти знания попали туда, потому что мы опрашивали людей. Но как люди получали эти знания? Просматривая тысячи спектров. Поэтому мы хотели программу, которая просматривала бы тысячи спектров и делала выводы о знаниях масс-спектрометрии, которые DENDRAL мог бы использовать для решения отдельных проблем формирования гипотез. Мы это сделали. Мы даже смогли опубликовать новые знания масс-спектрометрии в журнале Американского химического общества , указав только в сноске, что программа Meta-DENDRAL действительно это сделала. Мы смогли сделать то, что было мечтой: заставить компьютерную программу придумать новую и готовую к публикации часть науки. [51]
В отличие от наукоемкого подхода Meta-DENDRAL, Росс Куинлан изобрел независимый от предметной области подход к статистической классификации, обучение на основе дерева решений , начав сначала с ID3 [60] , а затем расширив его возможности до C4.5 . [61] Созданные деревья решений представляют собой прозрачные коробки , интерпретируемые классификаторы с интерпретируемыми человеком правилами классификации.
Также были достигнуты успехи в понимании теории машинного обучения. Том Митчелл представил обучение в пространстве версий , которое описывает обучение как поиск в пространстве гипотез с верхними, более общими, и нижними, более конкретными границами, охватывающими все жизнеспособные гипотезы, соответствующие рассмотренным до сих пор примерам. [62] Более формально, Валиант представил Вероятное Приблизительно Правильное Обучение (PAC Learning), структуру для математического анализа машинного обучения. [63]
Символическое машинное обучение охватывает больше, чем обучение на примерах. Например, Джон Андерсон предоставил когнитивную модель человеческого обучения, где практика навыков приводит к компиляции правил из декларативного формата в процедурный формат с его когнитивной архитектурой ACT-R . Например, ученик может научиться применять «Дополнительные углы — это два угла, сумма мер которых составляет 180 градусов» в качестве нескольких различных процедурных правил. Например, одно правило может гласить, что если X и Y являются дополнительными и вы знаете X, то Y будет 180 - X. Он назвал свой подход «компиляция знаний». ACT-R успешно использовался для моделирования аспектов человеческого познания, таких как обучение и сохранение. ACT-R также используется в интеллектуальных системах обучения , называемых когнитивными репетиторами , для успешного обучения школьников геометрии, компьютерному программированию и алгебре. [64]
Индуктивное логическое программирование было еще одним подходом к обучению, который позволял синтезировать логические программы из примеров ввода-вывода. Например, MIS (Model Inference System) Эхуда Шапиро могла синтезировать программы на Прологе из примеров. [65] Джон Р. Коза применил генетические алгоритмы к программному синтезу , чтобы создать генетическое программирование , которое он использовал для синтеза программ LISP. Наконец, Зохар Манна и Ричард Уолдингер предоставили более общий подход к программному синтезу , который синтезирует функциональную программу в ходе доказательства правильности ее спецификаций. [66]
В качестве альтернативы логике Роджер Шенк представил рассуждение на основе прецедентов (CBR). Подход CBR, изложенный в его книге «Динамическая память» [67] , в первую очередь фокусируется на запоминании ключевых случаев решения проблем для будущего использования и их обобщении, где это уместно. Столкнувшись с новой проблемой, CBR извлекает наиболее похожий предыдущий случай и адаптирует его к специфике текущей проблемы. [68] Другая альтернатива логике, генетические алгоритмы и генетическое программирование , основаны на эволюционной модели обучения, где наборы правил кодируются в популяции, правила управляют поведением особей, а выбор наиболее приспособленных отсекает наборы неподходящих правил на протяжении многих поколений. [69]
Символическое машинное обучение применялось к изучению концепций, правил, эвристик и решению проблем. Подходы, помимо указанных выше, включают:
С развитием глубокого обучения подход символического ИИ сравнивался с глубоким обучением как взаимодополняющий «...с параллелями, которые неоднократно проводились исследователями ИИ между исследованиями Канемана по человеческому мышлению и принятию решений — отраженными в его книге « Думай медленно… решай быстро » — и так называемыми «системами ИИ 1 и 2», которые в принципе могли бы быть смоделированы глубоким обучением и символическим мышлением соответственно». С этой точки зрения символическое мышление больше подходит для сознательных рассуждений, планирования и объяснения, в то время как глубокое обучение больше подходит для быстрого распознавания образов в перцептивных приложениях с зашумленными данными. [17] [18]
Нейросимволический ИИ пытается интегрировать нейронную и символическую архитектуры таким образом, чтобы учитывать сильные и слабые стороны каждой из них, взаимодополняющим образом, чтобы поддерживать надежный ИИ, способный рассуждать, обучаться и когнитивное моделирование. Как утверждают Валиант [77] и многие другие, [78], эффективное построение богатых вычислительных когнитивных моделей требует сочетания надежного символического рассуждения и эффективных (машинных) моделей обучения. Гэри Маркус , аналогичным образом, утверждает, что: «Мы не можем построить богатые когнитивные модели адекватным, автоматизированным способом без триумвирата гибридной архитектуры, богатых предшествующих знаний и сложных методов рассуждения» [79] и, в частности: «Чтобы построить надежный, основанный на знаниях подход к ИИ, мы должны иметь в своем инструментарии аппарат манипуляции символами. Слишком много полезных знаний абстрактны, чтобы обойтись без инструментов, которые представляют и манипулируют абстракцией, и на сегодняшний день единственный известный нам аппарат, который может надежно манипулировать такими абстрактными знаниями, — это аппарат манипуляции символами» [80] .
Генри Каутц [19] , Франческа Росси [ 81] и Барт Селман [82] также выступали за синтез. Их аргументы основаны на необходимости рассмотрения двух видов мышления, обсуждаемых в книге Дэниела Канемана «Думай медленно и решай быстро» . Канеман описывает человеческое мышление как имеющее два компонента: Систему 1 и Систему 2. Система 1 быстрая, автоматическая, интуитивная и бессознательная. Система 2 медленнее, пошаговая и явная. Система 1 — это тип, используемый для распознавания образов, в то время как Система 2 гораздо лучше подходит для планирования, дедукции и обдуманного мышления. С этой точки зрения глубокое обучение лучше всего моделирует первый тип мышления, в то время как символическое рассуждение лучше всего моделирует второй тип, и необходимы оба.
Гарсес и Лэмб описывают исследования в этой области как продолжающиеся по крайней мере последние двадцать лет, [83] начиная с их книги 2002 года о нейросимволических системах обучения. [84] Серия семинаров по нейросимволическому мышлению проводится каждый год с 2005 года, подробности см. на сайте http://www.neural-symbolic.org/.
В своей статье 2015 года «Нейро-символическое обучение и рассуждение: вклад и проблемы» Гарсес и др. утверждают, что:
Интеграция символической и коннекционистской парадигм ИИ проводилась сравнительно небольшим исследовательским сообществом в течение последних двух десятилетий и дала несколько значительных результатов. За последнее десятилетие было показано, что нейронные символические системы способны преодолеть так называемую пропозициональную фиксацию нейронных сетей, как выразился Маккарти (1988) в ответ на Смоленского (1988); см. также (Хинтон, 1990). Было показано, что нейронные сети способны представлять модальную и темпоральную логику (д'Авила Гарсес и Лэмб, 2006) и фрагменты логики первого порядка (Бадер, Хитцлер, Хёллдоблер, 2008; д'Авила Гарсес, Лэмб, Габбей, 2009). Кроме того, нейронно-символические системы применялись к ряду проблем в областях биоинформатики, инженерии управления, верификации и адаптации программного обеспечения, визуального интеллекта, онтологического обучения и компьютерных игр. [78]
Подходы к интеграции разнообразны. Ниже приведена таксономия нейросимволических архитектур Генри Каутца с некоторыми примерами:
Остаются многие ключевые вопросы исследования, такие как:
В этом разделе представлен обзор методов и вкладов в общем контексте, что приводит ко многим другим, более подробным статьям в Википедии. Разделы о машинном обучении и неопределенном рассуждении рассмотрены ранее в разделе истории.
Ключевым языком программирования ИИ в США в период последнего символического бума ИИ был LISP . LISP является вторым старейшим языком программирования после FORTRAN и был создан в 1958 году Джоном Маккарти . LISP предоставил первый цикл чтения-вычисления-печати для поддержки быстрой разработки программ. Скомпилированные функции можно было свободно смешивать с интерпретируемыми функциями. Также были предоставлены трассировка программы, пошаговое выполнение и точки останова, а также возможность изменять значения или функции и продолжать с точек останова или ошибок. Он имел первый самостоятельный компилятор , что означает, что сам компилятор был изначально написан на LISP, а затем запускался интерпретативно для компиляции кода компилятора.
Другие ключевые инновации, внедренные в LISP и распространившиеся на другие языки программирования, включают в себя:
Программы сами по себе представляли собой структуры данных, с которыми могли работать другие программы, что позволяло легко определять языки более высокого уровня.
В отличие от США, в Европе ключевым языком программирования ИИ в тот же период был Prolog . Prolog предоставлял встроенное хранилище фактов и предложений, которые можно было запросить с помощью цикла чтения-вычисления-печати . Хранилище могло действовать как база знаний, а предложения могли действовать как правила или ограниченная форма логики. Как подмножество логики первого порядка Prolog был основан на предложениях Хорна с предположением о замкнутости мира — любые неизвестные факты считались ложными — и предположением об уникальности имени для примитивных терминов — например, идентификатор barack_obama считался относящимся ровно к одному объекту. Возврат и унификация встроены в Prolog.
Ален Кольмероэр и Филипп Руссель считаются изобретателями Пролога. Пролог — это форма логического программирования, изобретенная Робертом Ковальски . На его историю также повлиял PLANNER Карла Хьюитта , утверждающая база данных с управляемым шаблоном вызовом методов. Более подробную информацию см. в разделе о происхождении Пролога в статье PLANNER .
Пролог также является разновидностью декларативного программирования . Логические предложения, описывающие программы, напрямую интерпретируются для запуска указанных программ. Не требуется явных последовательностей действий, как в случае с императивными языками программирования.
Япония продвигала Prolog для своего проекта Fifth Generation Project , намереваясь создать специальное оборудование для высокой производительности. Аналогично, машины LISP были созданы для запуска LISP, но когда второй бум ИИ обернулся крахом, эти компании не смогли конкурировать с новыми рабочими станциями, которые теперь могли запускать LISP или Prolog изначально на сопоставимых скоростях. Подробнее см. в разделе «История».
Smalltalk был еще одним влиятельным языком программирования ИИ. Например, он ввел метаклассы и, наряду с Flavors и CommonLoops , повлиял на Common Lisp Object System , или ( CLOS ), которая теперь является частью Common Lisp , текущего стандартного диалекта Lisp. CLOS — это основанная на Lisp объектно-ориентированная система, которая допускает множественное наследование , в дополнение к инкрементным расширениям как классов, так и метаклассов, тем самым предоставляя протокол метаобъектов времени выполнения . [88]
Для других языков программирования ИИ см. этот список языков программирования для искусственного интеллекта . В настоящее время Python , многопарадигмальный язык программирования , является самым популярным языком программирования, отчасти из-за его обширной библиотеки пакетов, которая поддерживает науку о данных , обработку естественного языка и глубокое обучение. Python включает цикл чтения-вычисления-печати, функциональные элементы, такие как функции высшего порядка , и объектно-ориентированное программирование , которое включает метаклассы.
Поиск возникает при решении многих видов проблем, включая планирование , удовлетворение ограничений и игры, такие как шашки , шахматы и го . Наиболее известными алгоритмами поиска по дереву ИИ являются поиск в ширину , поиск в глубину , A* и поиск Монте-Карло . Ключевыми алгоритмами поиска для булевой выполнимости являются WalkSAT , обучение на основе конфликта и алгоритм DPLL . Для состязательного поиска при игре в игры ранними вкладами были альфа-бета-отсечение , ветвь и граница и минимакс .
Было исследовано несколько различных подходов к представлению знаний и затем к рассуждению с этими представлениями. Ниже приведен краткий обзор подходов к представлению знаний и автоматизированному рассуждению.
Семантические сети , концептуальные графы , фреймы и логика — все это подходы к моделированию знаний, таких как знания предметной области, знания о решении проблем и семантическое значение языка. Онтологии моделируют ключевые концепции и их отношения в предметной области. Примерами онтологий являются YAGO , WordNet и DOLCE . DOLCE — это пример верхней онтологии , которая может использоваться для любой предметной области, в то время как WordNet — это лексический ресурс, который также можно рассматривать как онтологию . YAGO включает WordNet как часть своей онтологии, чтобы согласовать факты, извлеченные из Википедии, с синсетами WordNet . Онтология Disease — это пример медицинской онтологии, которая в настоящее время используется.
Описательная логика — это логика для автоматизированной классификации онтологий и для обнаружения несогласованных данных классификации. OWL — это язык, используемый для представления онтологий с описательной логикой . Protégé — это редактор онтологий, который может читать онтологии OWL , а затем проверять согласованность с помощью дедуктивных классификаторов , таких как HermiT. [89]
Логика первого порядка более общая, чем логика описаний. Автоматизированные доказатели теорем, обсуждаемые ниже, могут доказывать теоремы в логике первого порядка. Логика предложений Хорна более ограничена, чем логика первого порядка, и используется в языках логического программирования, таких как Prolog. Расширения логики первого порядка включают временную логику для обработки времени; эпистемическую логику для рассуждений о знаниях агента; модальную логику для обработки возможности и необходимости; и вероятностную логику для совместной обработки логики и вероятности.
Примерами автоматизированных средств доказательства теорем для логики первого порядка являются:
Prover9 можно использовать совместно с проверкой моделей Mace4 . ACL2 — это средство доказательства теорем, которое может обрабатывать доказательства по индукции и является потомком средства доказательства теорем Бойера-Мура, также известного как Nqthm .
Системы, основанные на знаниях, имеют явную базу знаний , как правило, правил, для повышения возможности повторного использования в разных доменах путем разделения процедурного кода и знаний домена. Отдельный механизм вывода обрабатывает правила и добавляет, удаляет или изменяет хранилище знаний.
Механизмы вывода прямой цепочки являются наиболее распространенными и встречаются в CLIPS и OPS5 . Обратная цепочка происходит в Prolog, где используется более ограниченное логическое представление, Horn Clauses . Сопоставление с образцом, в частности унификация , используется в Prolog.
Более гибкий тип решения проблем происходит, когда происходит рассуждение о том, что делать дальше, а не просто выбор одного из доступных действий. Этот тип метауровневого рассуждения используется в Soar и в архитектуре доски BB1.
Когнитивные архитектуры, такие как ACT-R, могут обладать дополнительными возможностями, например, способностью компилировать часто используемые знания в блоки более высокого уровня .
Марвин Мински первым предложил фреймы как способ интерпретации обычных визуальных ситуаций, таких как офис, а Роджер Шенк распространил эту идею на сценарии обычных рутин, таких как ужин вне дома. Cyc попытался захватить полезные знания здравого смысла и имеет «микротеории» для обработки определенных видов рассуждений, специфичных для предметной области.
Качественное моделирование, например QSIM Бенджамина Кёйперса [90], аппроксимирует человеческие рассуждения о наивной физике, например, о том, что происходит, когда мы нагреваем жидкость в кастрюле на плите. Мы ожидаем, что она нагреется и, возможно, закипит, даже если мы не знаем ее температуру, точку кипения или другие детали, такие как атмосферное давление.
Аналогично, временная интервальная алгебра Аллена является упрощением рассуждений о времени, а исчисление связей регионов является упрощением рассуждений о пространственных отношениях. Обе задачи могут быть решены с помощью решателей ограничений .
Решатели ограничений выполняют более ограниченный вид вывода, чем логика первого порядка. Они могут упрощать наборы пространственно-временных ограничений, такие как для RCC или временной алгебры , а также решать другие виды головоломок, такие как Wordle , Sudoku , криптоарифметические задачи и т. д. Программирование логики ограничений может использоваться для решения задач планирования, например, с правилами обработки ограничений (CHR).
General Problem Solver (GPS) рассматривал планирование как решение проблем, используя анализ средств и целей для создания планов. STRIPS использовал другой подход, рассматривая планирование как доказательство теорем. Graphplan использует подход с наименьшими обязательствами при планировании, а не последовательный выбор действий из начального состояния, работая вперед, или целевого состояния, работая назад. Satplan — это подход к планированию, при котором проблема планирования сводится к проблеме выполнимости булевых функций .
Обработка естественного языка фокусируется на обработке языка как данных для выполнения таких задач, как определение тем без обязательного понимания предполагаемого значения. Понимание естественного языка, напротив, конструирует представление значения и использует его для дальнейшей обработки, например, для ответа на вопросы.
Синтаксический анализ , токенизация , исправление орфографии , разметка частей речи , разбиение существительных и глагольных фраз на фрагменты — все это аспекты обработки естественного языка, которые долгое время обрабатывались символическим ИИ, но с тех пор были улучшены с помощью подходов глубокого обучения. В символическом ИИ для представления значений предложений использовались теория представления дискурса и логика первого порядка. Латентный семантический анализ (LSA) и явный семантический анализ также обеспечивали векторные представления документов. В последнем случае векторные компоненты интерпретируются как концепции, названные в статьях Википедии.
Новые подходы глубокого обучения, основанные на моделях Transformer, теперь затмили эти более ранние подходы символического ИИ и достигли самых современных показателей в обработке естественного языка . Однако модели Transformer непрозрачны и пока не создают интерпретируемых человеком семантических представлений для предложений и документов. Вместо этого они создают векторы, специфичные для задач, где значение векторных компонентов непрозрачно.
Агенты — это автономные системы, встроенные в среду, которую они воспринимают и на которую в некотором смысле воздействуют. Стандартный учебник Рассела и Норвига по искусственному интеллекту организован так, чтобы отражать архитектуры агентов все большей сложности. [91] Сложность агентов варьируется от простых реактивных агентов до агентов с моделью мира и возможностями автоматизированного планирования , возможно, агента BDI , т. е. агента с убеждениями, желаниями и намерениями — или, в качестве альтернативы, модели обучения с подкреплением, изученной с течением времени для выбора действий — вплоть до комбинации альтернативных архитектур, таких как нейросимволическая архитектура [87] , которая включает глубокое обучение для восприятия. [92]
Напротив, многоагентная система состоит из нескольких агентов, которые общаются между собой с помощью некоторого языка межагентного общения, такого как язык запросов и манипуляций знаний (KQML). Агенты не обязательно должны иметь одинаковую внутреннюю архитектуру. Преимущества многоагентных систем включают возможность разделения работы между агентами и повышения отказоустойчивости при потере агентов. Исследовательские проблемы включают в себя то, как агенты достигают консенсуса , распределенное решение проблем , многоагентное обучение , многоагентное планирование и распределенную оптимизацию ограничений .
С самого начала в символическом ИИ возникли разногласия, как внутри самой области — например, между логиками (прологичными «аккуратистами» ) и нелогиками (антилогичными «неряшами» ) — так и между теми, кто принимал ИИ, но отвергал символические подходы — в первую очередь коннекционистами — и теми, кто находился вне этой области. Критика извне исходила в основном от философов, по интеллектуальным соображениям, но также и от финансирующих агентств, особенно в течение двух зим ИИ.
Были обнаружены ограничения в использовании простой логики первого порядка для рассуждений о динамических областях. Проблемы были обнаружены как в отношении перечисления предпосылок для успешного действия, так и в предоставлении аксиом для того, что не изменилось после выполнения действия.
Маккарти и Хейз представили проблему фрейма в 1969 году в статье «Некоторые философские проблемы с точки зрения искусственного интеллекта». [93] Простой пример возникает при «доказательстве того, что один человек может вступить в разговор с другим», поскольку аксиома, утверждающая, что «если у человека есть телефон, он все еще имеет его после поиска номера в телефонной книге», потребовалась бы для успешного вывода. Аналогичные аксиомы потребовались бы для других действий в области, чтобы указать, что не изменилось.
Похожая проблема, называемая проблемой квалификации , возникает при попытке перечислить предварительные условия для успешного действия. Можно представить себе бесконечное количество патологических состояний, например, банан в выхлопной трубе может помешать правильной работе автомобиля.
Подход Маккарти к решению проблемы фрейма был ограниченностью , своего рода немонотонной логикой , где выводы могли быть сделаны из действий, которым нужно было только указать, что изменится, не указывая явно все, что не изменится. Другие немонотонные логики предоставляли системы поддержания истины , которые пересматривали убеждения, приводящие к противоречиям.
Другие способы обработки более открытых доменов включали вероятностные системы рассуждений и машинное обучение для изучения новых концепций и правил. Советник Маккарти можно рассматривать как источник вдохновения, поскольку он мог включать новые знания, предоставленные человеком в форме утверждений или правил. Например, экспериментальные символьные системы машинного обучения исследовали способность принимать советы на естественном языке высокого уровня и интерпретировать их в применимые правила, специфичные для домена.
Подобно проблемам в работе с динамическими областями, рассуждения здравого смысла также трудно уловить в формальных рассуждениях. Примерами рассуждений здравого смысла являются неявные рассуждения о том, как люди думают, или общие знания о повседневных событиях, объектах и живых существах. Этот вид знаний принимается как должное и не рассматривается как заслуживающий внимания. Рассуждения здравого смысла являются открытой областью исследований и сложными как для символических систем (например, Cyc пытался уловить ключевые части этих знаний в течение более чем десятилетия), так и для нейронных систем (например, беспилотные автомобили , которые не знают, что нельзя въезжать в конусы или не сбивать пешеходов, идущих на велосипеде).
Маккарти считал, что его Advice Taker обладает здравым смыслом, но его определение здравого смысла отличалось от приведенного выше. [94] Он определил программу как имеющую здравый смысл, « если она автоматически выводит для себя достаточно широкий класс непосредственных следствий из всего, что ей говорят, и что она уже знает ».
Подходы коннекционизма включают в себя более ранние работы по нейронным сетям , [95] такие как персептроны ; работы середины и конца 80-х годов, такие как Connection Machine Дэнни Хиллиса и достижения Яна Лекуна в сверточных нейронных сетях ; а также более продвинутые современные подходы, такие как Transformers , GAN и другие работы в области глубокого обучения.
Среди коннекционистов были выделены три философские позиции [96] :
Олазаран в своей социологической истории противоречий в сообществе нейронных сетей описал точку зрения умеренного коннекционизма как по сути совместимую с текущими исследованиями нейросимволических гибридов:
Третья и последняя позиция, которую я хотел бы здесь рассмотреть, это то, что я называю умеренной точкой зрения коннекциониста, более эклектичный взгляд на текущие дебаты между коннекционизмом и символическим ИИ. Одним из исследователей, который наиболее подробно разработал эту позицию, является Энди Кларк , философ из Школы когнитивных и вычислительных наук Университета Сассекса (Брайтон, Англия). Кларк защищал гибридные (частично символические, частично коннекционистские) системы. Он утверждал, что (по крайней мере) два вида теорий необходимы для изучения и моделирования познания. С одной стороны, для некоторых задач обработки информации (таких как распознавание образов) коннекционизм имеет преимущества перед символическими моделями. Но с другой стороны, для других когнитивных процессов (таких как последовательные, дедуктивные рассуждения и генеративные процессы манипуляции символами) символическая парадигма предлагает адекватные модели, а не только «приближения» (вопреки тому, что утверждали бы радикальные коннекционисты). [97]
Гэри Маркус утверждает, что враждебность сообщества специалистов по глубокому обучению по отношению к символическим подходам в настоящее время может быть скорее социологической, чем философской:
Думать, что мы можем просто отказаться от манипуляции символами, значит отказаться от неверия.
И все же, по большей части, именно так и поступает большинство современных ИИ. Хинтон и многие другие изо всех сил старались полностью изгнать символы. Надежда глубокого обучения — по-видимому, основанная не столько на науке, сколько на своего рода исторической обиде — заключается в том, что разумное поведение возникнет исключительно из слияния массивных данных и глубокого обучения. Там, где классические компьютеры и программное обеспечение решают задачи, определяя наборы правил манипулирования символами, предназначенные для определенных задач, таких как редактирование строки в текстовом процессоре или выполнение вычислений в электронной таблице, нейронные сети обычно пытаются решать задачи путем статистической аппроксимации и обучения на примерах.
По словам Маркуса, Джеффри Хинтон и его коллеги были категорически «антисимволичны»:
Когда глубокое обучение вновь появилось в 2012 году, оно было с отношением «пленных не брать», которое характеризовало большую часть последнего десятилетия. К 2015 году его враждебность ко всему, что связано с символами, полностью оформилась. Он выступил с докладом на семинаре по ИИ в Стэнфорде, сравнив символы с эфиром , что стало одной из величайших ошибок науки.
...
С тех пор его антисимволическая кампания только усилилась. В 2016 году Янн ЛеКун , Бенджио и Хинтон написали манифест глубокого обучения в одном из важнейших научных журналов Nature. Он завершился прямой атакой на манипуляцию символами, призывая не к примирению, а к прямой замене. Позже Хинтон заявил на собрании лидеров Европейского союза, что инвестирование любых дальнейших денег в подходы, манипулирующие символами, было «огромной ошибкой», сравнив это с инвестированием в двигатели внутреннего сгорания в эпоху электромобилей. [98]
Часть этих споров может быть вызвана нечеткой терминологией:
Лауреат премии Тьюринга Джуда Перл предлагает критику машинного обучения, которая, к сожалению, смешивает термины машинное обучение и глубокое обучение. Аналогично, когда Джеффри Хинтон ссылается на символический ИИ, коннотация этого термина, как правило, подразумевает экспертные системы, лишенные какой-либо способности к обучению. Использование терминологии нуждается в разъяснении. Машинное обучение не ограничивается извлечением правил ассоциации , см. объем работ по символическому МО и реляционному обучению (отличия от глубокого обучения заключаются в выборе представления, локальной логики, а не распределенной, и неиспользовании алгоритмов обучения на основе градиента ). Точно так же символический ИИ — это не только правила производства, написанные вручную. Правильное определение ИИ касается представления знаний и рассуждений , автономных многоагентных систем , планирования и аргументации , а также обучения. [99]
Еще одним аргументом в пользу символического ИИ является подход воплощенного познания :
Подход воплощенного познания утверждает, что нет смысла рассматривать мозг отдельно: познание происходит внутри тела, которое встроено в окружающую среду. Нам нужно изучать систему в целом; функционирование мозга использует закономерности в его среде, включая остальную часть его тела. В подходе воплощенного познания робототехника, зрение и другие датчики становятся центральными, а не периферийными. [100]
Родни Брукс изобрел робототехнику на основе поведения , один из подходов к воплощенному познанию. Новый ИИ , другое название этого подхода, рассматривается как альтернатива как символическому ИИ, так и коннекционистскому ИИ. Его подход отвергал представления, как символические, так и распределенные, как не только ненужные, но и вредные. Вместо этого он создал архитектуру подчинения , многоуровневую архитектуру для воплощенных агентов. Каждый слой достигает своей цели и должен функционировать в реальном мире. Например, первый робот, которого он описывает в «Интеллекте без представления» , имеет три слоя. Нижний слой интерпретирует датчики сонара, чтобы избегать объектов. Средний слой заставляет робота бродить, когда нет препятствий. Верхний слой заставляет робота отправляться в более отдаленные места для дальнейшего исследования. Каждый слой может временно подавлять или подавлять слой более низкого уровня. Он критиковал исследователей ИИ за определение проблем ИИ для своих систем, когда: «В реальном мире нет четкого разделения между восприятием (абстракцией) и рассуждением». [101] Он назвал своих роботов «Существами», и каждый слой был «состоящим из сети с фиксированной топологией простых конечных автоматов». [102] В подходе Nouvelle AI «Во-первых, жизненно важно тестировать Существа, которых мы создаем, в реальном мире; т. е. в том же мире, в котором мы, люди, живем. Катастрофически опасно поддаваться искушению сначала тестировать их в упрощенном мире, даже с лучшими намерениями позже перенести деятельность в неупрощенный мир». [103] Его акцент на тестировании в реальном мире контрастировал с «Ранней работой в области ИИ, сосредоточенной на играх, геометрических задачах, символической алгебре, доказательстве теорем и других формальных системах» [104] и использованием мира блоков в символических системах ИИ, таких как SHRDLU .
Каждый подход — символический, коннекционистский и основанный на поведении — имеет свои преимущества, но подвергается критике со стороны других подходов. Символический ИИ критиковали как бестелесный, подверженный проблеме квалификации и плохо справляющийся с проблемами восприятия, где преуспевает глубокое обучение. В свою очередь, коннекционистский ИИ критиковали как плохо подходящий для совещательного пошагового решения проблем, включения знаний и управления планированием. Наконец, Nouvelle AI преуспевает в реактивных и реальных областях робототехники, но подвергался критике за трудности с включением обучения и знаний.
Гибридные ИИ, включающие один или несколько из этих подходов, в настоящее время рассматриваются как путь вперед. [19] [81] [82] Рассел и Норвиг приходят к выводу, что:
В целом, Дрейфус увидел области, в которых у ИИ нет полных ответов, и сказал, что, следовательно, ИИ невозможен; теперь мы видим, что многие из этих же областей подвергаются постоянным исследованиям и разработкам, ведущим к увеличению возможностей, а не к невозможности. [100]