В искусственном интеллекте символический искусственный интеллект — это термин, обозначающий совокупность всех методов исследования искусственного интеллекта, которые основаны на символических (удобочитаемых) представлениях проблем высокого уровня , логике и поиске . [1] Символический ИИ использовал такие инструменты, как логическое программирование , правила производства , семантические сети и фреймы , и разработал такие приложения, как системы, основанные на знаниях (в частности, экспертные системы ), символическая математика , автоматизированные средства доказательства теорем , онтологии , семантическая сеть. и автоматизированные системы планирования и составления графиков . Парадигма символического ИИ привела к появлению плодотворных идей в области поиска , языков символического программирования, агентов , многоагентных систем , семантической сети , а также сильных и слабых сторон формальных знаний и систем рассуждения .
Символический ИИ был доминирующей парадигмой исследований ИИ с середины 1950-х до середины 1990-х годов. [2] Исследователи 1960-х и 1970-х годов были убеждены, что символические подходы в конечном итоге преуспеют в создании машины с общим искусственным интеллектом , и считали это конечной целью своей области. [3] Ранний бум с ранними успехами, такими как « Теоретик логики » и «Программа игры в шашки Сэмюэля » , привел к нереалистичным ожиданиям и обещаниям, за которым последовала Первая зима искусственного интеллекта, поскольку финансирование иссякло. [4] [5] Второй бум (1969–1986) произошел с появлением экспертных систем, их обещанием использовать корпоративный опыт и энтузиазмом корпоративных объятий. [6] [7] За этим бумом и некоторыми ранними успехами, например, с XCON на DEC , последовало позднее разочарование. [7] Возникли проблемы с получением знаний, поддержанием больших баз знаний и нестабильностью в решении проблем, выходящих за пределы предметной области. Затем последовал еще один, второй, AI Winter (1988–2011). [8] Впоследствии исследователи ИИ сосредоточились на решении основных проблем, связанных с преодолением неопределенности и приобретением знаний. [9] Неопределенность решалась с помощью формальных методов, таких как скрытые марковские модели , байесовские рассуждения и статистическое реляционное обучение . [10] [11] Символическое машинное обучение решило проблему приобретения знаний с помощью таких вкладов, как пространство версий , обучение PAC Valiant , обучение дереву решений Quinlan ID3 , обучение на основе прецедентов и индуктивное логическое программирование для изучения отношений. [12]
Нейронные сети , субсимволический подход, развивались с самого начала и вновь получили активное распространение в 2012 году. Ранними примерами являются работа Розенблатта по обучению перцептрона , работа Румельхарта , Хинтона и Уильямса по обратному распространению ошибки [13] и работа ЛеКуна по сверточным нейронным сетям. и другие. в 1989 году. [14] Однако нейронные сети не считались успешными примерно до 2012 года: «Пока большие данные не стали обычным явлением, общий консенсус в сообществе искусственного интеллекта заключался в том, что так называемый подход нейронных сетей безнадежен. по сравнению с другими методами... Революция произошла в 2012 году, когда ряд людей, в том числе группа исследователей, работающая с Хинтоном, разработали способ использования мощности графических процессоров для значительного увеличения мощности нейронные сети." [15] В течение следующих нескольких лет глубокое обучение добилось впечатляющих успехов в работе со зрением, распознавании речи, синтезе речи, генерации изображений и машинном переводе. Однако с 2020 года, когда при подходах глубокого обучения стали более очевидными трудности, связанные с предвзятостью, объяснением, понятностью и надежностью; Все большее число исследователей ИИ призывают объединить лучшее из символического и нейросетевого подходов [16] [17] и обратиться к областям, с которыми оба подхода сталкиваются с трудностями, например, к рассуждениям, основанным на здравом смысле . [15]
Ниже приводится краткая история символического ИИ до наших дней. Периоды времени и названия взяты из лекции памяти Роберта С. Энгельмора Генри Каутца 2020 года (AAAI) [18] и более длинной статьи в Википедии по истории искусственного интеллекта , с немного отличающимися датами и названиями для большей ясности.
Успех первых попыток создания ИИ произошел в трех основных областях: искусственные нейронные сети, представление знаний и эвристический поиск, что способствовало высоким ожиданиям. В этом разделе резюмируется повторение Каутцем ранней истории искусственного интеллекта.
Кибернетические подходы попытались воспроизвести петли обратной связи между животными и окружающей их средой. Робот-черепаха с датчиками, двигателями для вождения и рулевого управления, а также семью электронными трубками для управления, основанная на заранее запрограммированной нейронной сети, была построена еще в 1948 году. Эту работу можно рассматривать как ранний предшественник более поздних работ в области нейронных сетей. обучение с подкреплением и расположенная робототехника. [19]
Важной ранней программой символического ИИ была программа « Теоретик логики » , написанная Алленом Ньюэллом , Гербертом Саймоном и Клиффом Шоу в 1955–56 годах, поскольку она смогла доказать 38 элементарных теорем из « Principia Mathematica» Уайтхеда и Рассела . Позже Ньюэлл, Саймон и Шоу обобщили эту работу, создав независимое от предметной области средство решения проблем GPS (General Issue Solver). GPS решала проблемы, представленные формальными операторами, посредством поиска в пространстве состояний с использованием анализа средств и целей . [20]
В 1960-е годы символические подходы добились больших успехов в моделировании разумного поведения в структурированных средах, таких как игры, символическая математика и доказательство теорем. В 1960-х годах исследования искусственного интеллекта были сосредоточены в трёх институтах: Университете Карнеги-Меллона , Стэнфорде , Массачусетском технологическом институте и (позже) Эдинбургском университете . Каждый из них разработал свой собственный стиль исследования. Более ранние подходы, основанные на кибернетике или искусственных нейронных сетях, были заброшены или отодвинуты на второй план.
Герберт Саймон и Аллен Ньюэлл изучали человеческие навыки решения проблем и пытались их формализовать, а их работа заложила основы области искусственного интеллекта, а также когнитивной науки , исследования операций и науки управления . Их исследовательская группа использовала результаты психологических экспериментов для разработки программ, имитирующих методы, используемые людьми для решения проблем. [21] [22] Эта традиция, сосредоточенная в Университете Карнеги-Меллона, в конечном итоге привела к развитию архитектуры Soar в середине 1980-х годов. [23] [24]
В дополнение к узкоспециализированным знаниям, специфичным для конкретной предметной области, которые, как мы увидим позже, будут использоваться в экспертных системах, ранние исследователи символического ИИ открыли еще одно, более общее применение знаний. Их называли эвристикой, эмпирическими правилами, которые направляют поиск в перспективных направлениях: «Как может неперечислительный поиск быть практичным, если основная проблема экспоненциально сложна? Подход, пропагандируемый Саймоном и Ньюэллом, заключается в использовании эвристики : быстрых алгоритмов, которые могут потерпеть неудачу». на некоторых входах или на выходе неоптимальные решения». [25] Другим важным достижением было найти способ применения этих эвристик, который гарантировал бы, что решение будет найдено, если оно таковое существует, несмотря на случайные ошибки эвристики: «Алгоритм A* предоставил общую основу для полных и оптимальных эвристических методов. A* сегодня используется в качестве подпрограммы практически в каждом алгоритме ИИ, но до сих пор не является волшебным средством: его гарантия полноты достигается за счет экспоненциального времени в худшем случае .
Ранние работы охватывали как применения формальных рассуждений с упором на логику первого порядка , так и попытки обрабатывать рассуждения здравого смысла менее формальным образом.
В отличие от Саймона и Ньюэлла, Джон Маккарти считал, что машинам не нужно моделировать точные механизмы человеческого мышления, а вместо этого они могут попытаться найти суть абстрактного рассуждения и решения проблем с помощью логики [26] независимо от того, использовали ли люди одну и ту же систему. алгоритмы. [a] Его лаборатория в Стэнфорде ( SAIL ) сосредоточилась на использовании формальной логики для решения широкого круга задач, включая представление знаний , планирование и обучение . [30] Логика также была в центре внимания работ в Эдинбургском университете и других странах Европы, что привело к развитию языка программирования Пролог и науки логического программирования. [31] [32]
Исследователи из Массачусетского технологического института (такие как Марвин Мински и Сеймур Паперт ) [33] [34] [5] обнаружили, что решение сложных проблем в области зрения и обработки естественного языка требует специальных решений — они утверждали, что ни один простой и общий принцип (например, логика ) не может охватить все аспекты разумного поведения. Роджер Шанк назвал их «антилогические» подходы « неряшливыми » (в отличие от « аккуратных » парадигм КМУ и Стэнфорда). [35] [36] Базы знаний здравого смысла (такие как Cyc Дуга Лената ) являются примером «неряшливого» ИИ, поскольку их приходится создавать вручную, по одной сложной концепции за раз . [37] [38] [39]
Первая зима ИИ стала шоком:
Во время первого лета, посвященного искусственному интеллекту, многие думали, что машинного интеллекта можно достичь всего за несколько лет. Агентство перспективных оборонных исследовательских проектов (DARPA) запустило программы поддержки исследований ИИ с целью использования ИИ для решения проблем национальной безопасности; в частности, автоматизировать перевод с русского на английский язык для разведывательных операций и создать автономные танки для поля боя. Исследователи начали понимать, что достижение ИИ будет намного сложнее, чем предполагалось десять лет назад, но сочетание высокомерия и неискренности заставило многих исследователей из университетов и аналитических центров принять финансирование с обещаниями результатов, о которых они должны были знать, что они могут это сделать. не выполнить. К середине 1960-х годов не было создано ни полезных систем перевода на естественный язык, ни автономных танков, и началась резкая реакция. Новое руководство DARPA отменило существующие программы финансирования искусственного интеллекта.
...
За пределами США наиболее благодатной почвой для исследований ИИ была Великобритания. Зима искусственного интеллекта в Соединенном Королевстве была спровоцирована не столько разочарованными военными лидерами, сколько конкурирующими учеными, которые считали исследователей искусственного интеллекта шарлатанами и истощали финансирование исследований. Парламент поручил профессору прикладной математики сэру Джеймсу Лайтхиллу оценить состояние исследований ИИ в стране . В отчете говорится, что все проблемы, над которыми работают в области ИИ, лучше решать исследователям из других дисциплин, таких как прикладная математика. В отчете также утверждается, что успехи ИИ в решении игрушечных задач никогда не смогут масштабироваться до реальных приложений из-за комбинаторного взрыва. [40]
Поскольку ограничения слабых, независимых от предметной области методов становились все более очевидными, [41] исследователи всех трех традиций начали встраивать знания в приложения ИИ. [42] [6] Революция в области знаний была вызвана осознанием того, что знания лежат в основе высокопроизводительных специализированных приложений искусственного интеллекта.
Эдвард Фейгенбаум сказал:
Чтобы описать высокую производительность в конкретной области, требуются как общие, так и узкоспециализированные знания. Эд Фейгенбаум и Дуг Ленат назвали это «Принципом знания»:
(1) Принцип знания: если программа хочет хорошо выполнять сложную задачу, она должна много знать о мире, в котором она работает.
(2) Правдоподобное расширение этого принципа, называемое гипотезой широты: существуют две дополнительные способности, необходимые для разумного поведения в неожиданных ситуациях: обращение к все более общим знаниям и проведение аналогий с конкретными, но обширными знаниями. [44]
Эта «революция знаний» привела к разработке и внедрению экспертных систем (представленных Эдвардом Фейгенбаумом ), первой коммерчески успешной формы программного обеспечения ИИ. [45] [46] [47]
Ключевыми экспертными системами были:
ДЕНДРАЛ считается первой экспертной системой, основанной на наукоемком решении задач. Это описано ниже Эдом Фейгенбаумом из интервью ACM «Интервью с Эдом Фейгенбаумом»:
Одним из людей в Стэнфорде, интересующихся компьютерными моделями разума, был Джошуа Ледерберг , лауреат Нобелевской премии 1958 года по генетике. Когда я сказал ему, что хочу индукционную «песочницу», он ответил: «У меня есть именно такая для тебя». В его лаборатории проводилась масс-спектрометрия аминокислот. Вопрос заключался в следующем: как перейти от рассмотрения спектра аминокислоты к химической структуре аминокислоты? Вот как мы начали проект DENDRAL: я хорошо разбирался в эвристических методах поиска, а у него был алгоритм, который хорошо генерировал пространство химических задач.
У нас не было грандиозного видения. Мы работали снизу вверх. Нашим химиком был Карл Джерасси , изобретатель химического вещества, лежащего в основе противозачаточных таблеток, а также один из самых уважаемых в мире масс-спектрометристов. Карл и его постдоки были экспертами мирового класса в области масс-спектрометрии. Мы начали расширять их знания, изобретая по ходу дела инженерные знания. Эти эксперименты привели к тому, что ДЕНДРАЛ получил все больше и больше знаний. Чем больше вы это делали, тем умнее становилась программа. У нас были очень хорошие результаты.
Обобщение гласило: в знании заключена сила. Это была большая идея. В моей карьере это было громкое «Ага!», и раньше ИИ создавался не так. Звучит просто, но это, вероятно, самое мощное обобщение ИИ. [50]
Остальные экспертные системы, упомянутые выше, появились после DENDRAL. MYCIN иллюстрирует классическую архитектуру экспертной системы, состоящую из базы знаний правил в сочетании с механизмом символического рассуждения, включая использование факторов уверенности для обработки неопределенности. GUIDON показывает, как явная база знаний может быть перепрофилирована для второго приложения, обучения, и является примером интеллектуальной системы обучения , особого типа приложения, основанного на знаниях. Клэнси показал, что недостаточно просто использовать правила MYCIN для обучения, необходимо также добавить правила для управления диалогом и моделирования учащихся. [49] XCON важен тем, что он сэкономил миллионы долларов DEC , что спровоцировало бум экспертных систем, когда большинство крупных корпораций в США имели группы экспертных систем для сбора корпоративного опыта, его сохранения и автоматизации:
К 1988 году группа искусственного интеллекта DEC развернула 40 экспертных систем, и их количество будет увеличиваться. У DuPont было 100 в использовании и 500 в разработке. Почти каждая крупная корпорация США имела свою собственную группу искусственного интеллекта и либо использовала, либо исследовала экспертные системы. [48]
Знания экспертов по шахматам были закодированы в Deep Blue . В 1996 году это позволило компании IBM Deep Blue с помощью символического ИИ выиграть в шахматной партии у тогдашнего чемпиона мира Гарри Каспарова . [51]
Ключевым компонентом системной архитектуры всех экспертных систем является база знаний, в которой хранятся факты и правила решения задач. [52] Самый простой подход к созданию базы знаний экспертной системы — это просто набор или сеть производственных правил . Продукционные правила соединяют символы отношениями, подобными оператору «Если-То». Экспертная система обрабатывает правила, чтобы сделать выводы и определить, какая дополнительная информация ей нужна, т. е. какие вопросы задавать, используя удобочитаемые символы. Например, таким же образом работают OPS5 , CLIPS и их преемники Jess и Drools .
Экспертные системы могут работать либо по прямой цепочке – от доказательств к выводам, либо по обратной цепочке – от целей к необходимым данным и предварительным условиям. Более продвинутые системы, основанные на знаниях, такие как Soar , также могут выполнять рассуждения на метауровне, то есть рассуждать о своих собственных рассуждениях с точки зрения принятия решения о том, как решать проблемы, и отслеживать успех стратегий решения проблем.
Системы Blackboard — это второй вид архитектуры экспертных систем , основанной на знаниях . Они моделируют сообщество экспертов, постепенно вносящих свой вклад, где только могут, в решение проблемы. Проблема представлена на нескольких уровнях абстракции или в альтернативных представлениях. Эксперты (источники знаний) добровольно предоставляют свои услуги всякий раз, когда осознают, что могут внести свой вклад. Потенциальные действия по решению проблем представлены в повестке дня, которая обновляется по мере изменения проблемной ситуации. Контролер решает, насколько полезен каждый вклад и кто должен предпринять следующее действие по решению проблемы. Одним из примеров является архитектура доски BB1 [53] , которая изначально была вдохновлена исследованиями того, как люди планируют выполнять несколько задач во время поездки. [54] Новшеством BB1 было применение той же модели доски для решения своей задачи управления, т. е. его контроллер выполнял рассуждения на метауровне с использованием источников знаний, которые отслеживали, насколько хорошо идет план или решение проблем, и мог переключаться с одного уровня на другой. стратегию другому, поскольку условия – такие как цели или время – изменились. BB1 применяется во многих областях: планирование строительной площадки, интеллектуальные системы обучения и мониторинг пациентов в режиме реального времени.
В разгар бума искусственного интеллекта такие компании, как Symbolics , LMI и Texas Instruments, продавали машины LISP, специально предназначенные для ускорения разработки приложений и исследований искусственного интеллекта. Кроме того, несколько компаний, занимающихся искусственным интеллектом, таких как Teknowledge и Inference Corporation , продавали корпорациям оболочки экспертных систем, обучение и консалтинг.
К сожалению, бум искусственного интеллекта длился недолго, и Каутц лучше всего описывает последовавшую вторую зиму искусственного интеллекта:
Можно назвать много причин прихода второй зимы AI. Производители аппаратного обеспечения потерпели неудачу, когда на рынке появились гораздо более экономичные рабочие станции Unix общего назначения от Sun вместе с хорошими компиляторами для LISP и Prolog. Многие коммерческие внедрения экспертных систем были прекращены, поскольку их обслуживание оказалось слишком дорогостоящим. Медицинские экспертные системы так и не прижились по нескольким причинам: сложность поддержания их в актуальном состоянии; перед медицинскими работниками стоит задача научиться использовать ошеломляющее разнообразие различных экспертных систем для различных заболеваний; и, возможно, самое главное, нежелание врачей доверять компьютерному диагнозу больше, чем интуиции, даже в тех конкретных областях, где экспертные системы могут превзойти среднего врача. Деньги венчурного капитала покинули ИИ практически в одночасье. Всемирная конференция искусственного интеллекта IJCAI в 1987 году в Ванкувере провела огромную и щедрую торговую выставку, которую посетили тысячи неакадемических работников; главная конференция по искусственному интеллекту в следующем году, AAAI 1988 в Сент-Поле, была небольшим и строго академическим мероприятием. [8]
Были опробованы как статистические подходы, так и расширения логики.
Один статистический подход, «Скрытые марковские модели» , уже был популяризирован в 1980-х годах для работы по распознаванию речи. [10] Впоследствии, в 1988 году, Джудея Перл популяризировал использование байесовских сетей как разумного, но эффективного способа обработки неопределенных рассуждений, опубликовав книгу «Вероятностные рассуждения в интеллектуальных системах: сети правдоподобных выводов». [55] и байесовский подход успешно применялись в экспертных системах. [56] Даже позже, в 1990-х годах, статистическое реляционное обучение, подход, сочетающий вероятность с логическими формулами, позволило объединить вероятность с логикой первого порядка, например, с марковскими логическими сетями или вероятностной мягкой логикой .
Также были опробованы другие, невероятностные расширения логики первого порядка. Например, немонотонные рассуждения можно использовать с системами поддержания истины . Система поддержания истины отслеживала предположения и обоснования всех выводов. Это позволяло отозвать выводы, когда предположения оказались неверными или было получено противоречие. Объяснения могут быть предоставлены для вывода, объясняя, какие правила были применены для его создания, а затем продолжая рассмотрение основных выводов и правил вплоть до основных предположений. [57] Лофти Заде ввел другой вид расширения для представления неопределенности. Например, при принятии решения о том, насколько «тяжелый» или «высокий» мужчина, часто нет четкого ответа «да» или «нет», и вместо этого предикат для тяжелого или высокого будет возвращать значения от 0 до 1. Эти значения представлены в какой степени предикаты были истинны. Его нечеткая логика также предоставила средства для распространения комбинаций этих значений через логические формулы. [58]
Подходы к символическому машинному обучению были исследованы для устранения узких мест в получении знаний . Одним из самых ранних является Мета-ДЕНДРАЛ . Мета-ДЕНДРАЛ использовал метод генерации и тестирования для создания правдоподобных гипотез о правилах для проверки спектров. Знание предметной области и задач сократило количество протестированных кандидатов до приемлемого размера. Фейгенбаум описал Мета-ДЕНДРАЛ как
...кульминация моей мечты начала-середины 1960-х годов, связанной с формированием теории. Идея заключалась в том, что у вас есть средство решения проблем, такое как DENDRAL, которое принимает некоторые входные данные и выдает выходные данные. При этом он использовал слои знаний, чтобы направлять и сокращать поиск. Эти знания появились благодаря тому, что мы брали интервью у людей. Но как люди получили эти знания? Глядя на тысячи спектров. Поэтому нам нужна была программа, которая бы анализировала тысячи спектров и делала выводы о знаниях масс-спектрометрии, которые ДЕНДРАЛ мог бы использовать для решения отдельных задач формирования гипотез. Мы сделали это. Нам даже удалось опубликовать новые знания о масс-спектрометрии в Журнале Американского химического общества , лишь в сноске указав, что программа Meta-DENDRAL действительно сделала это. Нам удалось сделать то, о чем мы мечтали: создать компьютерную программу, которая выдаст новый научный результат, который можно будет опубликовать. [50]
В отличие от наукоемкого подхода Meta-DENDRAL, Росс Куинлан изобрел предметно-независимый подход к статистической классификации, обучению дерева решений , начав сначала с ID3 [59] , а затем расширив его возможности до C4.5 . [60] Созданные деревья решений представляют собой стеклянный ящик , интерпретируемые классификаторы с интерпретируемыми человеком правилами классификации.
Прогресс был достигнут и в понимании теории машинного обучения. Том Митчелл представил обучение в пространстве версий , которое описывает обучение как поиск в пространстве гипотез с верхними, более общими, и нижними, более конкретными границами, охватывающими все жизнеспособные гипотезы, соответствующие примерам, рассмотренным до сих пор. [61] Более формально, Valiant представил «Вероятно приблизительно правильное обучение» (PAC Learning), основу для математического анализа машинного обучения. [62]
Символическое машинное обучение — это нечто большее, чем просто обучение на примерах. Например, Джон Андерсон представил когнитивную модель человеческого обучения, в которой практика навыков приводит к компиляции правил из декларативного формата в процедурный формат с помощью его когнитивной архитектуры ACT-R . Например, учащийся может научиться применять фразу «Дополнительные углы — это два угла, сумма которых равна 180 градусам» в качестве нескольких различных процедурных правил. Например, одно правило может гласить, что если X и Y дополняют друг друга и вы знаете X, то Y будет 180 - X. Он назвал свой подход «компиляцией знаний». ACT-R успешно использовался для моделирования аспектов человеческого познания, таких как обучение и запоминание. ACT-R также используется в интеллектуальных обучающих системах , называемых когнитивными наставниками , для успешного преподавания школьникам геометрии, компьютерного программирования и алгебры. [63]
Индуктивное логическое программирование было еще одним подходом к обучению, который позволял синтезировать логические программы на основе примеров ввода-вывода. Например, MIS (система вывода моделей) Эхуда Шапиро могла синтезировать программы Пролога на основе примеров. [64] Джон Р. Коза применил генетические алгоритмы к синтезу программ для создания генетического программирования , которое он использовал для синтеза программ LISP. Наконец, Зохар Манна и Ричард Уолдингер предложили более общий подход к синтезу программ , который синтезирует функциональную программу в ходе проверки правильности ее спецификаций. [65]
В качестве альтернативы логике Роджер Шанк представил рассуждение на основе прецедентов (CBR). Подход CBR, изложенный в его книге «Динамическая память» [66] , в первую очередь фокусируется на запоминании ключевых случаев решения проблем для использования в будущем и их обобщении, где это необходимо. Столкнувшись с новой проблемой, ЦБ РФ извлекает наиболее похожий из предыдущих случаев и адаптирует его к специфике текущей проблемы. [67] Другая альтернатива логике — генетические алгоритмы и генетическое программирование — основаны на эволюционной модели обучения, в которой наборы правил кодируются в популяции, правила управляют поведением особей, а отбор наиболее приспособленных отсекает наборы неподходящих правил. на протяжении многих поколений. [68]
Символическое машинное обучение применялось для изучения концепций, правил, эвристики и решения проблем. Подходы, помимо вышеперечисленных, включают в себя:
С развитием глубокого обучения символический подход ИИ стали сравнивать с глубоким обучением как дополняющий его «…при этом исследователи ИИ много раз проводили параллели между исследованиями Канемана о человеческом рассуждении и принятии решений, отраженными в его книге « Думай, быстро». и Медленный – и так называемые «системы ИИ 1 и 2», которые в принципе будут моделироваться с помощью глубокого обучения и символического мышления соответственно». С этой точки зрения символическое мышление больше подходит для обдуманного рассуждения, планирования и объяснения, тогда как глубокое обучение больше подходит для быстрого распознавания образов в перцептивных приложениях с зашумленными данными. [16] [17]
Нейросимволический ИИ пытается интегрировать нейронную и символическую архитектуру таким образом, чтобы взаимодополняющим образом учитывать сильные и слабые стороны каждой из них, чтобы поддерживать надежный ИИ, способный рассуждать, обучаться и когнитивно моделировать. Как утверждают Валиант [76] и многие другие, [77] эффективное построение богатых вычислительных когнитивных моделей требует сочетания здравых символических рассуждений и эффективных моделей (машинного) обучения. Гэри Маркус аналогичным образом утверждает, что: «Мы не можем построить богатые когнитивные модели адекватным, автоматизированным способом без триумвирата гибридной архитектуры, богатых предварительных знаний и сложных методов рассуждения». [ 78] и, в частности: «Построить Для надежного подхода к искусственному интеллекту, основанного на знаниях, в нашем наборе инструментов должен быть механизм манипулирования символами. Единственное, что может надежно манипулировать таким абстрактным знанием, — это аппарат манипулирования символами». [79]
Генри Каутц , [18] Франческа Росси , [80] и Барт Селман [81] также выступали за синтез. Их аргументы основаны на необходимости обратиться к двум видам мышления, обсуждаемым в книге Дэниела Канемана «Думай быстро и медленно» . Канеман описывает человеческое мышление как состоящее из двух компонентов: Системы 1 и Системы 2 . Система 1 быстрая, автоматическая, интуитивная и бессознательная. Система 2 более медленная, пошаговая и явная. Система 1 используется для распознавания образов, тогда как Система 2 гораздо лучше подходит для планирования, дедукции и обдуманного мышления. С этой точки зрения, глубокое обучение лучше всего моделирует первый тип мышления, а символическое рассуждение лучше всего моделирует второй тип, и оба необходимы.
Гарсез и Лэмб описывают, что исследования в этой области продолжаются, по крайней мере, последние двадцать лет [82] , начиная с их книги 2002 года о нейросимволических системах обучения. [83] Серия семинаров по нейросимволическому мышлению проводится каждый год с 2005 года, подробности см. на http://www.neural-symbolic.org/.
В своей статье 2015 года «Нейро-символическое обучение и рассуждение: вклад и проблемы» Гарсез и др. утверждает, что:
Интеграция символической и коннекционистской парадигм ИИ проводилась относительно небольшим исследовательским сообществом в течение последних двух десятилетий и дала несколько важных результатов. За последнее десятилетие было показано, что нейронные символические системы способны преодолевать так называемую пропозициональную фиксацию нейронных сетей, как выразился Маккарти (1988) в ответ на Смоленского (1988); см. также (Хинтон, 1990). Было показано, что нейронные сети способны представлять модальную и временную логику (д'Авила Гарсез и Ламб, 2006) и фрагменты логики первого порядка (Бадер, Хитцлер, Хёллдоблер, 2008; д'Авила Гарсез, Ламб, Габбай, 2009). Кроме того, нейронно-символические системы применялись для решения ряда задач в области биоинформатики, техники управления, проверки и адаптации программного обеспечения, визуального интеллекта, обучения онтологии и компьютерных игр. [77]
Подходы к интеграции разнообразны. Таксономия нейросимволических архитектур Генри Каутца вместе с некоторыми примерами выглядит следующим образом:
Остаются многие ключевые вопросы исследования, такие как:
В этом разделе представлен обзор методов и их вклада в общий контекст, ведущий к множеству других, более подробных статей в Википедии. Разделы, посвященные машинному обучению и неопределенному рассуждению, рассматриваются ранее в разделе истории.
Ключевым языком программирования ИИ в США во время последнего символического периода бума ИИ был LISP . LISP — второй старейший язык программирования после FORTRAN , созданный в 1958 году Джоном Маккарти . LISP предоставил первый цикл чтения-оценки-печати для поддержки быстрой разработки программ. Скомпилированные функции можно было свободно смешивать с интерпретируемыми функциями. Также были предусмотрены трассировка программы, пошаговое выполнение и точки останова, а также возможность изменять значения или функции и продолжать работу с точек останова или ошибок. У него был первый самостоятельный компилятор , а это означало, что сам компилятор изначально был написан на LISP, а затем запускался интерпретативно для компиляции кода компилятора.
Другие ключевые инновации, предложенные LISP и распространившиеся на другие языки программирования, включают:
Программы сами по себе представляли собой структуры данных, с которыми могли работать другие программы, что позволяло легко определять языки более высокого уровня.
В отличие от США, в Европе ключевым языком программирования ИИ в тот же период был Пролог . Пролог предоставлял встроенное хранилище фактов и предложений, к которым можно было обращаться с помощью цикла чтения-оценки-печати . Хранилище может действовать как база знаний, а предложения могут действовать как правила или ограниченная форма логики. Как подмножество логики первого порядка, Пролог был основан на предложениях Хорна с допущением закрытого мира (любые неизвестные факты считались ложными) и предположением об уникальном имени для примитивных терминов (например, считалось, что идентификатор barack_obama относится ровно к одному объект. Возврат и унификация встроены в Пролог.
Ален Кольмерауэр и Филипп Руссель считаются изобретателями Пролога. Пролог — это форма логического программирования, изобретенная Робертом Ковальски . На ее историю также повлияла PLANNER Карла Хьюитта , база данных утверждений с вызовом методов на основе шаблонов. Более подробно см. раздел о происхождении Пролога в статье PLANNER .
Пролог также является разновидностью декларативного программирования . Логические предложения, описывающие программы, напрямую интерпретируются для запуска указанных программ. Никакой явной последовательности действий не требуется, как в случае с императивными языками программирования.
Япония поддержала Prolog в своем проекте пятого поколения , намереваясь создать специальное оборудование для высокой производительности. Точно так же машины LISP были созданы для работы с LISP, но когда второй бум искусственного интеллекта обернулся крахом, эти компании не смогли конкурировать с новыми рабочими станциями, которые теперь могли запускать LISP или Prolog на сопоставимых скоростях. Более подробную информацию смотрите в разделе история.
Smalltalk был еще одним влиятельным языком программирования искусственного интеллекта. Например, он представил метаклассы и, наряду с Flavors и CommonLoops , повлиял на Common Lisp Object System , или ( CLOS ), которая теперь является частью Common Lisp , текущего стандартного диалекта Lisp. CLOS — это объектно-ориентированная система на основе Lisp, которая допускает множественное наследование в дополнение к инкрементным расширениям как классов, так и метаклассов, обеспечивая тем самым протокол метаобъектов во время выполнения . [87]
Другие языки программирования искусственного интеллекта см. в этом списке языков программирования для искусственного интеллекта . В настоящее время Python , многопарадигмальный язык программирования , является самым популярным языком программирования, отчасти благодаря своей обширной библиотеке пакетов, которая поддерживает науку о данных , обработку естественного языка и глубокое обучение. Python включает в себя цикл чтения-оценки-печати, функциональные элементы, такие как функции высшего порядка , и объектно-ориентированное программирование , включающее метаклассы.
Поиск возникает во многих видах решения задач, включая планирование , удовлетворение ограничений и игры в такие игры, как шашки , шахматы и го . Наиболее известные алгоритмы поиска в дереве поиска AI — это поиск в ширину , поиск в глубину , A* и поиск по Монте-Карло . Ключевыми алгоритмами поиска логической выполнимости являются WalkSAT , обучение на основе конфликтов и алгоритм DPLL . Для состязательного поиска во время игр ранним вкладом были альфа-бета-обрезка , ветвление и граница и минимакс .
Было исследовано множество различных подходов к представлению знаний, а затем к обоснованию этих представлений. Ниже приведен краткий обзор подходов к представлению знаний и автоматизированному рассуждению.
Семантические сети , концептуальные графы , фреймы и логика — все это подходы к моделированию знаний, таких как знания предметной области, знания решения проблем и семантическое значение языка. Онтологии моделируют ключевые понятия и их отношения в предметной области. Примерами онтологий являются YAGO , WordNet и DOLCE . DOLCE — это пример верхней онтологии , которую можно использовать для любого домена, а WordNet — это лексический ресурс, который также можно рассматривать как онтологию . YAGO включает WordNet как часть своей онтологии, чтобы согласовать факты, извлеченные из Википедии , с синсетами WordNet . Онтология заболеваний является примером медицинской онтологии, используемой в настоящее время.
Логика описания — это логика автоматической классификации онтологий и обнаружения противоречивых данных классификации. OWL — это язык, используемый для представления онтологий с помощью логики описания . Protégé — это редактор онтологий, который может читать онтологии OWL , а затем проверять согласованность с помощью дедуктивных классификаторов , таких как HermiT. [88]
Логика первого порядка является более общей, чем логика описания. Автоматизированные средства доказательства теорем, обсуждаемые ниже, могут доказывать теоремы в логике первого порядка. Логика предложений Хорна более ограничена, чем логика первого порядка, и используется в языках логического программирования, таких как Пролог. Расширения логики первого порядка включают временную логику для управления временем; эпистемическая логика , позволяющая рассуждать о знаниях агентов; модальная логика для обработки возможности и необходимости; и вероятностная логика для совместной обработки логики и вероятности.
Примеры автоматизированных средств доказательства теорем для логики первого порядка:
Prover9 можно использовать совместно с программой проверки моделей Mace4 . ACL2 — это средство доказательства теорем, которое может обрабатывать доказательства по индукции и является потомком средства доказательства теорем Бойера-Мура, также известного как Nqthm .
Системы, основанные на знаниях, имеют явную базу знаний , обычно состоящую из правил, для повышения возможности повторного использования в разных областях за счет разделения процедурного кода и знаний предметной области. Отдельный механизм вывода обрабатывает правила и добавляет, удаляет или изменяет хранилище знаний.
Механизмы вывода прямой цепочки являются наиболее распространенными и встречаются в CLIPS и OPS5 . Обратная цепочка происходит в Прологе, где используется более ограниченное логическое представление — предложения Horn . Сопоставление с образцом, в частности унификация , используется в Прологе.
Более гибкий вид решения проблем возникает, когда происходит размышление о том, что делать дальше, а не просто выбор одного из доступных действий. Этот вид рассуждений на метауровне используется в Soar и в архитектуре доски BB1.
Когнитивные архитектуры, такие как ACT-R, могут иметь дополнительные возможности, например, способность компилировать часто используемые знания в фрагменты более высокого уровня .
Марвин Мински первым предложил фреймы как способ интерпретации обычных визуальных ситуаций, таких как офис, а Роджер Шанк распространил эту идею на сценарии для обычных повседневных дел, таких как обед вне дома. Cyc попытался собрать полезные знания здравого смысла и разработал «микротеории» для обработки определенных видов рассуждений, специфичных для предметной области.
Качественное моделирование, такое как QSIM Бенджамина Койперса [89] , аппроксимирует человеческие рассуждения о наивной физике, например о том, что происходит, когда мы нагреваем жидкость в кастрюле на плите. Мы ожидаем, что он нагреется и, возможно, закипит, даже если мы не знаем его температуры, точки кипения или других деталей, таких как атмосферное давление.
Точно так же алгебра временных интервалов Аллена представляет собой упрощение рассуждений о времени, а исчисление связей регионов — упрощение рассуждений о пространственных отношениях. Оба могут быть решены с помощью решателей ограничений .
Решатели ограничений выполняют более ограниченный вид вывода, чем логика первого порядка. Они могут упростить наборы пространственно-временных ограничений, например, для RCC или временной алгебры , а также решать другие виды головоломок, таких как Wordle , судоку , криптоарифметические задачи и так далее. Программирование логики ограничений можно использовать для решения задач планирования, например, с помощью правил обработки ограничений (CHR).
Программа общего решения проблем (GPS) рассматривала планирование как способ решения проблем, используя анализ средств и результатов для создания планов. STRIPS использовал другой подход, рассматривая планирование как доказательство теорем. Graphplan использует подход к планированию с наименьшими обязательствами, а не последовательно выбирает действия из исходного состояния, движения вперед или целевого состояния, если работает назад. Satplan — это подход к планированию, при котором проблема планирования сводится к булевой задаче выполнимости .
Обработка естественного языка фокусируется на рассмотрении языка как данных для выполнения таких задач, как определение тем, без обязательного понимания предполагаемого значения. Понимание естественного языка, напротив, создает представление значения и использует его для дальнейшей обработки, например, для ответа на вопросы.
Синтаксический анализ , токенизация , исправление орфографии , разметка частей речи , разбиение на фрагменты существительных и глагольных фраз — все это аспекты обработки естественного языка, которые долгое время обрабатывались символическим ИИ, но с тех пор были улучшены с помощью подходов глубокого обучения. В символическом ИИ для представления значений предложений использовались теория репрезентации дискурса и логика первого порядка. Скрытый семантический анализ (LSA) и явный семантический анализ также обеспечивали векторное представление документов. В последнем случае векторные компоненты интерпретируются как понятия, названные в статьях Википедии.
Новые подходы к глубокому обучению, основанные на моделях Transformer , теперь затмили эти более ранние подходы к символическому ИИ и достигли самых современных показателей обработки естественного языка . Однако модели Transformer непрозрачны и еще не создают интерпретируемые человеком семантические представления предложений и документов. Вместо этого они создают векторы для конкретных задач, в которых значение векторных компонентов неясно.
Агенты — это автономные системы, встроенные в среду, которую они воспринимают и в некотором смысле действуют на нее. Стандартный учебник Рассела и Норвига по искусственному интеллекту построен так, чтобы отражать все более совершенную архитектуру агентов. [90] Уровень сложности агентов варьируется от простых реактивных агентов до агентов с моделью мира и возможностями автоматического планирования , возможно, агентом BDI , то есть агентом с убеждениями, желаниями и намерениями – или, альтернативно, моделью обучения с подкреплением, изученной в течение длительного времени. время выбора действий – вплоть до комбинации альтернативных архитектур, например нейросимволической архитектуры [86] , включающей глубокое обучение восприятия. [91]
Напротив, многоагентная система состоит из нескольких агентов, которые общаются между собой с помощью некоторого языка межагентного общения, такого как язык запросов и манипулирования знаниями (KQML). Агенты не обязательно должны иметь одинаковую внутреннюю архитектуру. Преимущества многоагентных систем включают возможность разделить работу между агентами и повысить отказоустойчивость в случае потери агентов. Проблемы исследования включают в себя то, как агенты достигают консенсуса , распределенное решение проблем , многоагентное обучение , многоагентное планирование и оптимизацию распределенных ограничений .
Споры возникли с самого начала в области символического ИИ, как внутри этой области — например, между логиками (прологическими «аккуратными» ) и нелогиками (антилогичными «неряшливыми» ), а также между теми, кто принял ИИ, но отверг символический ИИ. подходы — в первую очередь коннекционистские — и те, кто находится за пределами этой области. Критика из-за пределов этой области исходила в основном от философов на интеллектуальных основаниях, но также и от финансирующих агентств, особенно во время двух зим ИИ.
Были обнаружены ограничения при использовании простой логики первого порядка для рассуждений о динамических областях. Были обнаружены проблемы как с перечислением предварительных условий успеха действия, так и с предоставлением аксиом того, что не изменилось после выполнения действия.
Маккарти и Хейс представили проблему фрейма в 1969 году в статье «Некоторые философские проблемы с точки зрения искусственного интеллекта». [92] Простой пример возникает при «доказательстве того, что один человек может вступить в разговор с другим», поскольку для этого потребуется аксиома, утверждающая, что «если у человека есть телефон, он все еще у него есть после поиска номера в телефонной книге». вывод, чтобы добиться успеха. Подобные аксиомы потребуются и для других действий предметной области, чтобы указать, что не изменилось.
Похожая проблема, называемая проблемой квалификации , возникает при попытке перечислить предварительные условия успеха действия. Можно представить бесконечное количество патологических состояний, например, банан в выхлопной трубе может помешать правильной работе автомобиля.
Подход Маккарти к решению проблемы фрейма заключался в ограничении , своего рода немонотонной логике , в которой выводы можно было делать из действий, которым нужно только указать, что изменится, без необходимости явно указывать все, что не изменится. Другие немонотонные логики обеспечивали системы поддержания истины , которые пересматривали убеждения, приводя к противоречиям.
Другие способы работы с более открытыми областями включали системы вероятностного рассуждения и машинное обучение для изучения новых концепций и правил. В данном случае «Советчик » Маккарти можно рассматривать как источник вдохновения, поскольку он может включать в себя новые знания, предоставленные человеком в форме утверждений или правил. Например, экспериментальные системы символьного машинного обучения исследовали способность принимать советы высокого уровня на естественном языке и интерпретировать их в практические правила, специфичные для конкретной предметной области.
Подобно проблемам с динамическими областями, рассуждения здравого смысла также трудно уловить в формальных рассуждениях. Примеры рассуждений, основанных на здравом смысле, включают неявные рассуждения о том, как люди думают, или общие знания о повседневных событиях, объектах и живых существах. Подобные знания воспринимаются как нечто само собой разумеющееся и не считаются заслуживающими внимания. Рассуждения, основанные на здравом смысле, являются открытой областью исследований и бросают вызов как символическим системам (например, Cyc пытается уловить ключевые части этих знаний на протяжении более десяти лет), так и нейронным системам (например, беспилотным автомобилям , которые не знают, въезжать в конусы или не сбивать пешеходов, идущих на велосипеде).
Маккарти считал своего «Советника» обладателем здравого смысла, но его определение здравого смысла отличалось от приведенного выше. [93] Он определил программу как имеющую здравый смысл, « если она автоматически выводит для себя достаточно широкий класс непосредственных последствий всего, что ей говорят, и того, что она уже знает ».
Коннекционистские подходы включают более ранние работы над нейронными сетями , [94] такими как перцептроны ; работы середины-конца 80-х, такие как Connection Machine Дэнни Хиллиса и достижения Янна Лекуна в области сверточных нейронных сетей ; к сегодняшним более продвинутым подходам, таким как Трансформеры , GAN и другие работы в области глубокого обучения.
Среди коннекционистов обозначились три философские позиции [95] :
Олазаран в своей социологической истории разногласий внутри сообщества нейронных сетей описал точку зрения умеренного коннекционизма как по существу совместимую с текущими исследованиями нейро-символических гибридов:
Третья и последняя позиция, которую я хотел бы здесь рассмотреть, — это то, что я называю умеренным коннекционистским взглядом, более эклектичным взглядом на текущие дебаты между коннекционизмом и символическим ИИ. Одним из исследователей, наиболее подробно разработавшим эту позицию, является Энди Кларк , философ из Школы когнитивных и вычислительных наук Университета Сассекса (Брайтон, Англия). Кларк защищал гибридные (частично символические, частично коннекционистские) системы. Он утверждал, что для изучения и моделирования познания необходимы (по крайней мере) два типа теорий. С одной стороны, для некоторых задач обработки информации (например, распознавания образов) коннекционизм имеет преимущества перед символическими моделями. Но с другой стороны, для других когнитивных процессов (таких как серийные, дедуктивные рассуждения и процессы генеративной манипуляции символами) символическая парадигма предлагает адекватные модели, а не только «приближения» (вопреки тому, что утверждают радикальные коннекционисты). [96]
Гэри Маркус заявил, что враждебность в сообществе глубокого обучения против символических подходов сейчас может быть скорее социологической, чем философской:
Думать, что мы можем просто отказаться от манипулирования символами, значит приостановить неверие.
И тем не менее, по большей части именно так и работает современный ИИ. Хинтон и многие другие упорно пытались полностью изгнать символы. Надежда на глубокое обучение (по-видимому, основанная не столько на науке, сколько на своего рода исторической обиде) заключается в том, что разумное поведение возникнет исключительно в результате слияния огромных данных и глубокого обучения. Если классические компьютеры и программное обеспечение решают задачи, определяя наборы правил манипулирования символами, предназначенных для конкретных задач, таких как редактирование строки в текстовом процессоре или выполнение вычислений в электронной таблице, нейронные сети обычно пытаются решать задачи путем статистической аппроксимации и обучения на основе Примеры.
По словам Маркуса, Джеффри Хинтон и его коллеги были категорически «антисимволическими»:
Когда глубокое обучение вновь появилось в 2012 году, оно было характерно для большей части последнего десятилетия. К 2015 году его враждебность ко всему символическому полностью выкристаллизовалась. Он выступил с докладом на семинаре по искусственному интеллекту в Стэнфорде, сравнив символы с эфиром , что стало одной из величайших ошибок науки.
...
С тех пор его антисимволическая кампания только усилилась. В 2016 году Янн ЛеКун , Бенджио и Хинтон написали манифест по глубокому обучению в одном из самых важных научных журналов Nature. Он завершился прямой атакой на манипулирование символами, призывая не к примирению, а к полной замене. Позже Хинтон заявил собравшимся лидерам Европейского Союза, что вкладывать любые дополнительные деньги в методы манипулирования символами было «огромной ошибкой», сравнив это с инвестициями в двигатели внутреннего сгорания в эпоху электромобилей. [97]
Часть этих споров может быть связана с неясной терминологией:
Обладатель премии Тьюринга Джудея Перл предлагает критику машинного обучения, которая, к сожалению, смешивает термины машинное обучение и глубокое обучение. Точно так же, когда Джеффри Хинтон говорит о символическом ИИ, этот термин имеет тенденцию подразумевать экспертные системы, лишенные какой-либо способности к обучению. Использование терминологии нуждается в пояснении. Машинное обучение не ограничивается поиском ассоциативных правил , см. объем работ по символическому машинному обучению и реляционному обучению (отличия от глубокого обучения заключаются в выборе представления, локальном логическом, а не распределенном и неиспользовании алгоритмов обучения на основе градиента). ). Точно так же символический ИИ — это не просто правила производства , написанные вручную. Правильное определение ИИ касается представления и рассуждения знаний , автономных многоагентных систем , планирования и аргументации , а также обучения. [98]
Еще одна критика символического ИИ — это подход воплощенного познания :
Подход воплощенного познания утверждает, что нет смысла рассматривать мозг отдельно: познание происходит внутри тела, встроенного в окружающую среду. Нам необходимо изучить систему в целом; Функционирование мозга использует закономерности окружающей среды, включая остальную часть его тела. В рамках подхода воплощенного познания робототехника, зрение и другие сенсоры становятся центральными, а не периферийными. [99]
Родни Брукс изобрел робототехнику, основанную на поведении , — один из подходов к воплощенному познанию. Новый ИИ , другое название этого подхода, рассматривается как альтернатива как символическому ИИ, так и коннекционистскому ИИ. Его подход отвергал репрезентации, как символические, так и распределенные, как не только ненужные, но и вредные. Вместо этого он создал архитектуру включения — многоуровневую архитектуру для воплощенных агентов. Каждый уровень преследует свою цель и должен функционировать в реальном мире. Например, первый робот, которого он описывает в «Интеллекте без представления» , имеет три слоя. Нижний уровень интерпретирует датчики сонара, чтобы избежать объектов. Средний уровень заставляет робота бродить, когда нет препятствий. Верхний слой заставляет робота отправляться в более отдаленные места для дальнейшего исследования. Каждый уровень может временно блокировать или подавлять уровень более низкого уровня. Он раскритиковал исследователей ИИ за определение проблем ИИ для своих систем, когда: «В реальном мире не существует четкого разделения между восприятием (абстракцией) и рассуждением». [100] Он называл своих роботов «Существами», и каждый уровень «состоял из сети с фиксированной топологией простых конечных автоматов». [101] В подходе Nouvelle AI: «Во-первых, жизненно важно протестировать Существ, которые мы создаем, в реальном мире; то есть в том же мире, в котором мы, люди, живем. сначала упрощенный мир, даже с лучшими намерениями позже перенести деятельность в неупрощенный мир». [102] Его упор на тестирование в реальном мире контрастировал с «ранними работами в области ИИ, сосредоточенными на играх, геометрических задачах, символической алгебре, доказательстве теорем и других формальных системах» [103] и использовании мира блоков в символическом ИИ. такие системы, как SHRDLU .
Каждый подход — символический, коннекционистский и поведенческий — имеет свои преимущества, но подвергается критике со стороны других подходов. Символический ИИ критиковали как бестелесный, подверженный проблемам квалификации и плохо справляющийся с проблемами восприятия, в которых глубокое обучение превосходит другие. В свою очередь, коннекционистский ИИ подвергался критике как плохо подходящий для обдуманного пошагового решения проблем, объединения знаний и планирования действий. Наконец, Nouvelle AI преуспевает в области реактивной и реальной робототехники, но ее критикуют за трудности с объединением обучения и знаний.
Гибридный ИИ , включающий один или несколько из этих подходов, в настоящее время рассматривается как путь вперед. [18] [80] [81] Рассел и Норвиг приходят к выводу, что:
В целом Дрейфус увидел области, где у ИИ нет полных ответов, и сказал, что поэтому ИИ невозможен; теперь мы видим, что во многих из этих областей продолжаются исследования и разработки, ведущие к увеличению возможностей, а не к невозможности. [99]