История искусственного интеллекта ( ИИ ) началась в древности , с мифов, историй и слухов об искусственных существах, наделенных интеллектом или сознанием мастерами-ремесленниками. Изучение логики и формального рассуждения с древности до наших дней привело непосредственно к изобретению программируемого цифрового компьютера в 1940-х годах, машины, основанной на абстрактной сущности математических рассуждений. Это устройство и идеи, лежащие в его основе, вдохновили горстку ученых начать серьезно обсуждать возможность создания электронного мозга .
Область исследований ИИ была основана на семинаре, проведенном в кампусе Дартмутского колледжа летом 1956 года . [1] Участники семинара стали лидерами исследований ИИ на десятилетия. Многие из них предсказывали, что машины, столь же разумные, как люди, будут существовать в течение поколения. Правительство США выделило миллионы долларов на реализацию этой идеи. [2]
В конце концов, стало очевидно, что исследователи сильно недооценили сложность проекта. [3] В 1974 году критика со стороны Джеймса Лайтхилла и давление со стороны Конгресса США заставили правительства США и Великобритании прекратить финансирование ненаправленных исследований в области искусственного интеллекта. Семь лет спустя дальновидная инициатива японского правительства и успех экспертных систем оживили инвестиции в ИИ, и к концу 80-х годов отрасль выросла до миллиардов долларов. Однако энтузиазм инвесторов угас в 1990-х годах, и область подверглась критике в прессе и избегалась промышленностью (период, известный как « Зима ИИ »). Тем не менее, исследования и финансирование продолжали расти под другими названиями.
В начале 2000-х годов машинное обучение применялось к широкому кругу проблем в академической среде и промышленности. Успех был обусловлен доступностью мощного компьютерного оборудования, сбором огромных наборов данных и применением надежных математических методов. В 2012 году глубокое обучение оказалось прорывной технологией, затмившей все другие методы. Архитектура transformer дебютировала в 2017 году и использовалась для создания впечатляющих генеративных приложений ИИ. Инвестиции в ИИ резко возросли в 2020-х годах.
В греческой мифологии Талос был великаном из бронзы, который был стражем острова Крит. Он бросал валуны в корабли захватчиков и ежедневно совершал 3 круга по периметру острова. [4] Согласно «Библиотеке » псевдо-Аполлодора , Гефест выковал Талоса с помощью циклопа и преподнес автомат в качестве подарка Миносу . [5] В «Аргонавтике » Ясон и аргонавты победили Талоса, вытащив пробку у его ноги, из-за чего из его тела вытекла жизненная жидкость , и он стал безжизненным. [6]
Пигмалион был легендарным царем и скульптором греческой мифологии, широко представленным в «Метаморфозах» Овидия . В 10-й книге поэмы Овидия Пигмалион испытывает отвращение к женщинам, когда становится свидетелем того, как пропоэтиды занимаются проституцией. Несмотря на это, он приносит жертвы в храм Венеры, прося богиню привести ему женщину, похожую на статую, которую он вырезал. [7]
В книге «О природе вещей » швейцарский алхимик Парацельс описывает процедуру, которая, как он утверждает, может изготовить «искусственного человека». Если поместить «сперму человека» в конский навоз и накормить ее «Тайной крови человека» через 40 дней, то смесь станет живым младенцем. [8]
Самое раннее письменное упоминание о создании големов встречается в трудах Элеазара бен Иуды из Вормса в начале 13 века. [9] В Средние века считалось, что оживление голема может быть достигнуто путем вставки листа бумаги с любым из имен Бога в рот глиняной фигуры. [10] В отличие от легендарных автоматов, таких как Brazen Heads , [11] голем не мог говорить. [12]
Таквин , искусственное создание жизни, было частой темой исмаилитских алхимических рукописей, особенно тех, которые приписываются Джабиру ибн Хайяну . Исламские алхимики пытались создать широкий спектр жизни посредством своей работы, начиная от растений и заканчивая животными. [13]
В «Фаусте: Вторая часть трагедии» Иоганна Вольфганга фон Гете алхимически созданный гомункул , которому суждено жить вечно в колбе, в которой он был создан, пытается родиться в полноценном человеческом теле. Однако при начале этой трансформации колба разбивается, и гомункул умирает. [14]
К 19 веку идеи об искусственных людях и мыслящих машинах стали популярной темой в художественной литературе. Известные работы, такие как «Франкенштейн » Мэри Шелли и «РУР» (универсальные роботы Россума) Карела Чапека [15], исследовали концепцию искусственной жизни. Спекулятивные эссе, такие как « Дарвин среди машин » Сэмюэля Батлера [16] и « Шахматист Мельцеля » Эдгара Аллана По [17], отражали растущий интерес общества к машинам с искусственным интеллектом. ИИ остается распространенной темой в научной фантастике и сегодня. [18]
Реалистичные гуманоидные автоматы были построены мастерами многих цивилизаций, в том числе Яном Ши , [19] Героем Александрии , [20] Аль-Джазари , [21] Харуном аль-Рашидом , [22] Жаком де Вокансоном , [23] [24] Леонардо Торрес-и-Кеведо , [25] Пьер Жаке-Дро и Вольфганг фон Кемпелен . [26] [27]
Древнейшими известными автоматами были священные статуи Древнего Египта и Греции . [28] [29] Верующие верили, что мастер наделил эти фигуры вполне реальным разумом, способным на мудрость и эмоции — Гермес Трисмегист писал, что «открыв истинную природу богов, человек смог воспроизвести ее». [30] Английский ученый Александр Некхэм утверждал, что древнеримский поэт Вергилий построил дворец со статуями автоматов. [31]
В ранний современный период эти легендарные автоматы, как говорили, обладали магической способностью отвечать на задаваемые им вопросы. Позднесредневековый алхимик и протопротестант Роджер Бэкон , как предполагалось, изготовил медную голову , разработав легенду о том, что он был волшебником. [32] [33] Эти легенды были похожи на скандинавский миф о Голове Мимира . Согласно легенде, Мимир был известен своим интеллектом и мудростью и был обезглавлен в войне асов и ванов . Говорят, что Один «забальзамировал» голову травами и произнёс над ней заклинания, так что голова Мимира осталась способной говорить мудростью Одину. Затем Один держал голову возле себя для совета. [34]
Искусственный интеллект основан на предположении, что процесс человеческого мышления может быть механизирован. Изучение механического — или «формального» — рассуждения имеет долгую историю. Китайские , индийские и греческие философы разработали структурированные методы формальной дедукции к первому тысячелетию до нашей эры. Их идеи были развиты на протяжении веков такими философами, как Аристотель (который дал формальный анализ силлогизма ) , [35] Евклид (чьи «Начала» были моделью формального рассуждения), аль-Хорезми (который разработал алгебру и дал свое имя слову «алгоритм» ) и европейскими схоластами , такими как Уильям Оккам и Дунс Скот . [36]
Испанский философ Рамон Луллий (1232–1315) разработал несколько логических машин , предназначенных для производства знаний логическими средствами; [37] [38] Луллий описывал свои машины как механические сущности, которые могли объединять основные и неоспоримые истины с помощью простых логических операций, производимых машиной с помощью механических значений, таким образом, чтобы производить все возможные знания. [39] Работы Луллия оказали большое влияние на Готфрида Лейбница , который переработал его идеи. [40]
В XVII веке Лейбниц , Томас Гоббс и Рене Декарт исследовали возможность того, что вся рациональная мысль может быть сделана такой же систематической, как алгебра или геометрия. [41] Гоббс написал в «Левиафане» : «Ибо разум ... есть не что иное, как подсчет , то есть сложение и вычитание». [42] Лейбниц представлял себе универсальный язык рассуждений, characteristics of universalis , который свел бы аргументацию к расчету, так что «не было бы больше нужды в споре между двумя философами, чем между двумя бухгалтерами. Ибо было бы достаточно взять карандаши в руки, спуститься к своим грифельным доскам и сказать друг другу (с другом в качестве свидетеля, если они хотели): Давайте вычислим ». [43] Эти философы начали формулировать гипотезу физической символьной системы , которая стала руководящей верой исследований ИИ.
Изучение математической логики обеспечило существенный прорыв, который сделал искусственный интеллект правдоподобным. Основы были заложены такими работами, как «Законы мышления » Буля и «Бегрифсшрифт» Фреге . [ 44] Основываясь на системе Фреге , Рассел и Уайтхед представили формальную трактовку основ математики в своем шедевре « Principia Mathematica» в 1913 году. Вдохновленный успехом Рассела , Дэвид Гильберт бросил вызов математикам 1920-х и 30-х годов, чтобы они ответили на этот фундаментальный вопрос: «можно ли формализовать все математические рассуждения?» [36] На его вопрос ответили доказательство неполноты Гёделя , [ 45] машина Тьюринга [ 45] и лямбда -исчисление Чёрча . [a]
Их ответ был удивительным в двух отношениях. Во-первых, они доказали, что на самом деле существуют пределы того, чего может достичь математическая логика. Но во-вторых (и что более важно для ИИ) их работа предполагала, что в этих пределах любая форма математического рассуждения может быть механизирована. Тезис Чёрча-Тьюринга подразумевал, что механическое устройство, перетасовывающее символы, такие простые, как 0 и 1 , может имитировать любой мыслимый процесс математической дедукции. [45] Ключевым пониманием была машина Тьюринга — простая теоретическая конструкция, которая охватывала суть абстрактной манипуляции символами. [48] Это изобретение вдохновило нескольких учёных начать обсуждать возможность мыслящих машин.
Вычислительные машины были спроектированы или построены в древности и на протяжении всей истории многими людьми, включая Готфрида Лейбница , [38] [49] Жозефа Мари Жаккара , [50] Чарльза Бэббиджа , [50] [51] Перси Ладгейта , [52] Леонардо Торреса Кеведо , [53] Ванивара Буша , [54] и других. Ада Лавлейс предположила, что машина Бэббиджа была «думающей или ... рассуждающей машиной», но предупредила: «Желательно остерегаться возможности возникновения преувеличенных идей относительно возможностей» машины. [55] [56]
Первые современные компьютеры были массивными машинами Второй мировой войны (такими как Z3 Конрада Цузе , Хит Робинсон и Колосс Алана Тьюринга , Атанасов и Берри , а также ABC и ENIAC в Университете Пенсильвании ). [57] ENIAC был основан на теоретической основе, заложенной Аланом Тьюрингом и разработанной Джоном фон Нейманом , [58] и оказался наиболее влиятельным. [57]
Самые ранние исследования мыслящих машин были вдохновлены слиянием идей, которые стали распространенными в конце 1930-х, 1940-х и начале 1950-х годов. Недавние исследования в области неврологии показали, что мозг представляет собой электрическую сеть нейронов , которые активизируются импульсами «все или ничего». Кибернетика Норберта Винера описывала управление и устойчивость в электрических сетях. Теория информации Клода Шеннона описывала цифровые сигналы (т. е. сигналы «все или ничего»). Теория вычислений Алана Тьюринга показала , что любую форму вычислений можно описать в цифровом виде. Тесная связь между этими идеями предполагала, что возможно построить «электронный мозг».
В 1940-х и 50-х годах несколько ученых из разных областей (математика, психология, инженерия, экономика и политология) исследовали несколько направлений исследований, которые имели жизненно важное значение для последующих исследований ИИ. [59] Алан Тьюринг был одним из первых, кто серьезно исследовал теоретическую возможность «машинного интеллекта». [60] Область « исследований искусственного интеллекта » была основана как академическая дисциплина в 1956 году. [61]
В 1950 году Тьюринг опубликовал знаменательную статью « Вычислительная техника и интеллект », в которой он размышлял о возможности создания мыслящих машин. [63] [b] В статье он отметил, что «мышление» трудно определить, и разработал свой знаменитый тест Тьюринга : если машина может поддерживать разговор (через телетайп ), который неотличим от разговора с человеком, то разумно сказать, что машина «думает». [64] Эта упрощенная версия проблемы позволила Тьюрингу убедительно доказать, что «мыслящая машина» по крайней мере правдоподобна , и статья ответила на все наиболее распространенные возражения против этого предложения. [65] Тест Тьюринга был первым серьезным предложением в философии искусственного интеллекта .
Уолтер Питтс и Уоррен Маккалок проанализировали сети идеализированных искусственных нейронов и показали, как они могут выполнять простые логические функции в 1943 году. Они были первыми, кто описал то, что позже исследователи назовут нейронной сетью . [66] На эту работу повлияла статья Тьюринга « О вычислимых числах » 1936 года, в которой использовались похожие двухстабильные булевы «нейроны», но она была первой, кто применил ее к нейронной функции. [60] Одним из студентов, вдохновленных Питтсом и Маккалоком, был Марвин Мински , который в то время был 24-летним аспирантом. В 1951 году Мински и Дин Эдмондс построили первую нейронную сетевую машину, SNARC . [67] Позже Мински стал одним из важнейших лидеров и новаторов в области ИИ.
Экспериментальные роботы, такие как черепахи В. Грея Уолтера и зверь Джона Хопкинса , были построены в 1950-х годах. Эти машины не использовали компьютеры, цифровую электронику или символическое мышление; они полностью контролировались аналоговыми схемами. [68]
В 1951 году, используя машину Ferranti Mark 1 Манчестерского университета , Кристофер Стрейчи написал программу для игры в шашки [69], а Дитрих Принц написал программу для игры в шахматы. [70] Программа для игры в шашки Артура Сэмюэля , предмет его статьи 1959 года «Некоторые исследования в области машинного обучения с использованием игры в шашки», в конечном итоге достигла достаточного мастерства, чтобы бросить вызов уважаемому любителю. [71] Программа Сэмюэля была одним из первых применений того, что позже будет названо машинным обучением . [72] Игровой ИИ продолжал использоваться в качестве меры прогресса в области ИИ на протяжении всей его истории.
Когда в середине пятидесятых годов стал возможен доступ к цифровым компьютерам , несколько ученых инстинктивно поняли, что машина, которая может манипулировать числами, может также манипулировать символами и что манипулирование символами вполне может быть сущностью человеческой мысли. Это был новый подход к созданию думающих машин. [73] [74]
В 1955 году Аллен Ньюэлл и будущий лауреат Нобелевской премии Герберт А. Саймон создали « Logic Theorist » с помощью Дж. К. Шоу . Программа в конечном итоге доказала 38 из первых 52 теорем в Principia Mathematica Рассела и Уайтхеда и нашла новые и более элегантные доказательства для некоторых из них. [75] Саймон сказал, что они «решили почтенную проблему разума/тела , объяснив, как система, состоящая из материи, может обладать свойствами разума». [76] [c] Представленная ими парадигма символического рассуждения будет доминировать в исследованиях и финансировании ИИ до середины 90-х годов, а также вдохновит когнитивную революцию .
Семинар в Дартмуте 1956 года стал ключевым событием, ознаменовавшим формальное начало ИИ как академической дисциплины. [61] Он был организован Марвином Мински и Джоном Маккарти при поддержке двух старших ученых Клода Шеннона и Натана Рочестера из IBM . В предложении о проведении конференции говорилось, что они намеревались проверить утверждение, что «каждый аспект обучения или любая другая характеристика интеллекта может быть настолько точно описан, что может быть создана машина для его имитации». [77] [d] Термин «Искусственный интеллект» был введен Джоном Маккарти на семинаре. [e] Среди участников были Рэй Соломонофф , Оливер Селфридж , Тренчард Мор , Артур Сэмюэл , Аллен Ньюэлл и Герберт А. Саймон , каждый из которых создал важные программы в течение первых десятилетий исследований ИИ. [83] [f] На семинаре Ньюэлл и Саймон дебютировали с «теоретиком логики». [84] Семинар стал моментом, когда ИИ обрел свое название, свою миссию, свой первый крупный успех и своих ключевых игроков, и широко считается рождением ИИ. [g]
Осенью 1956 года Ньюэлл и Саймон также представили Logic Theorist на встрече Special Interest Group in Information Theory в Массачусетском технологическом институте (MIT). На той же встрече Ноам Хомский обсуждал свою генеративную грамматику , а Джордж Миллер описал свою эпохальную работу « Магическое число семь, плюс или минус два ». Миллер написал: «Я покинул симпозиум с убеждением, скорее интуитивным, чем рациональным, что экспериментальная психология, теоретическая лингвистика и компьютерное моделирование когнитивных процессов были частями большего целого». [86] [57]
Эта встреча стала началом « когнитивной революции » — междисциплинарного сдвига парадигмы в психологии, философии, информатике и нейронауке. Она вдохновила на создание подотраслей символического искусственного интеллекта , генеративной лингвистики , когнитивной науки , когнитивной психологии , когнитивной нейронауки и философских школ вычислительного и функционалистского подхода . Все эти области использовали родственные инструменты для моделирования разума, и результаты, полученные в одной области, были актуальны для других.
Когнитивный подход позволил исследователям рассматривать «ментальные объекты», такие как мысли, планы, цели, факты или воспоминания, часто анализируемые с использованием символов высокого уровня в функциональных сетях. Эти объекты были запрещены как «ненаблюдаемые» более ранними парадигмами, такими как бихевиоризм . [h] Символические ментальные объекты станут основным направлением исследований и финансирования ИИ на следующие несколько десятилетий.
Программы, разработанные в годы после Дартмутского семинара , для большинства людей были просто «поразительными»: [i] компьютеры решали текстовые алгебраические задачи, доказывали теоремы по геометрии и учились говорить по-английски. Мало кто в то время поверил бы, что такое «интеллектуальное» поведение машин вообще возможно. [90] [91] [89] Исследователи выражали огромный оптимизм в частной и печатной форме, предсказывая, что полностью интеллектуальная машина будет построена менее чем за 20 лет. [92] Правительственные агентства, такие как Агентство перспективных исследовательских проектов Министерства обороны США (DARPA, тогда известное как «ARPA»), вкладывали деньги в эту область. [93] Лаборатории искусственного интеллекта были созданы в ряде британских и американских университетов в конце 1950-х и начале 1960-х годов. [60]
В конце 50-х и 1960-х годов было много успешных программ и новых направлений. Среди наиболее влиятельных были следующие:
Многие ранние программы ИИ использовали один и тот же базовый алгоритм . Чтобы достичь какой-то цели (например, выиграть игру или доказать теорему), они продвигались к ней шаг за шагом (делали ход или вывод), как будто прочесывая лабиринт, возвращаясь назад всякий раз, когда они достигали тупика. [94] Основная трудность заключалась в том, что для многих задач число возможных путей через «лабиринт» было астрономическим (ситуация, известная как « комбинаторный взрыв »). Исследователи сокращали пространство поиска, используя эвристики , которые исключали пути, которые вряд ли приведут к решению. [95]
Ньюэлл и Саймон попытались зафиксировать общую версию этого алгоритма в программе под названием « Общий решатель проблем ». [96] [97] Другие «поисковые» программы смогли выполнить впечатляющие задачи, такие как решение задач по геометрии и алгебре, такие как « Доказательство теорем геометрии» Герберта Гелернтера (1958) [98] и Символический автоматический интегратор (SAINT), написанный учеником Мински Джеймсом Слэглом в 1961 году. [99] [100] Другие программы искали цели и подцели для планирования действий, такие как система STRIPS , разработанная в Стэнфорде для управления поведением робота Шейки . [101]
Важной целью исследований ИИ является обеспечение возможности компьютерам общаться на естественных языках, таких как английский. Ранним успехом стала программа Дэниела Боброва STUDENT , которая могла решать текстовые задачи по алгебре в старших классах. [102]
Семантическая сеть представляет понятия (например, «дом», «дверь») как узлы, а отношения между понятиями как связи между узлами (например, «имеет-а»). Первая программа ИИ, использующая семантическую сеть, была написана Россом Куиллианом [103] , а наиболее успешной (и спорной) версией была теория концептуальной зависимости Роджера Шэнка . [ 104]
ELIZA Джозефа Вайценбаума могла вести разговоры, которые были настолько реалистичны, что пользователи иногда обманывались, думая, что они общаются с человеком, а не с компьютерной программой (см. эффект ELIZA ). Но на самом деле ELIZA просто давала заготовленный ответ или повторяла то, что ей говорили, перефразируя свой ответ с помощью нескольких правил грамматики. ELIZA была первым чатботом . [105] [106]
В конце 60-х годов Марвин Мински и Сеймур Паперт из Лаборатории искусственного интеллекта Массачусетского технологического института предложили, чтобы исследования ИИ были сосредоточены на искусственно простых ситуациях, известных как микромиры. [j] Они указали, что в успешных науках, таких как физика, основные принципы часто лучше всего понимались с помощью упрощенных моделей, таких как плоскости без трения или абсолютно твердые тела. Большая часть исследований была сосредоточена на « мире блоков », который состоит из цветных блоков различных форм и размеров, выстроенных на плоской поверхности. [107]
Эта парадигма привела к инновационной работе в области машинного зрения Джеральда Сассмана , Адольфо Гусмана, Дэвида Вальца (который изобрел « распространение ограничений ») и особенно Патрика Уинстона . В то же время Мински и Паперт построили роботизированную руку, которая могла складывать блоки, оживляя мир блоков. SHRDLU Терри Винограда мог общаться на обычных английских предложениях о микромире, планировать операции и выполнять их. [107]
В 1960-х годах финансирование в основном направлялось в лаборатории, исследующие символьный ИИ , однако несколько человек по-прежнему продолжали исследования в области нейронных сетей.
_(20897323365).jpg/1280px-330-PSA-80-60_(USN_710739)_(20897323365).jpg)
Персептрон , однослойная нейронная сеть , была представлена в 1958 году Фрэнком Розенблаттом [108] (который был одноклассником Марвина Мински в Высшей школе наук в Бронксе ). [109] Как и большинство исследователей ИИ, он был оптимистичен относительно их возможностей, предсказывая, что персептрон «в конечном итоге сможет учиться, принимать решения и переводить языки». [110] Розенблатта в основном финансировало Управление военно-морских исследований . [111]
Бернард Видроу и его студент Тед Хофф построили ADALINE (1960) и MADALINE (1962), которые имели до 1000 регулируемых грузов. [112] [113] Группа в Стэнфордском исследовательском институте под руководством Чарльза А. Розена и Альфреда Э. (Теда) Брейна построили две нейросетевые машины, названные MINOS I (1960) и II (1963), в основном финансируемые Корпусом связи армии США . MINOS II [114] имел 6600 регулируемых грузов, [115] и управлялся компьютером SDS 910 в конфигурации под названием MINOS III (1968), который мог классифицировать символы на армейских картах и распознавать рукописные символы на листах кодировки Fortran . [116] [117] Большая часть исследований нейронных сетей в этот ранний период включала создание и использование специального оборудования, а не моделирование на цифровых компьютерах. [k]
Однако, отчасти из-за отсутствия результатов, а отчасти из-за конкуренции со стороны исследований символического ИИ , проект MINOS лишился финансирования в 1966 году. Розенблатту не удалось обеспечить постоянное финансирование в 1960-х годах. [118] В 1969 году исследования внезапно прекратились с публикацией книги Мински и Паперта «Персептроны» 1969 года . [119] В ней говорилось о том, что существуют серьезные ограничения в том, что могут делать персептроны, и что предсказания Розенблатта были сильно преувеличены. Эффект книги заключался в том, что в течение 10 лет практически не финансировалось ни одно исследование в области коннекционизма . [120] Конкуренция за государственное финансирование закончилась победой подходов символического ИИ над нейронными сетями. [117] [118]
Минский (работавший над SNARC ) стал ярым противником чистого коннекционистского ИИ. Видроу (работавший над ADALINE ) обратился к адаптивной обработке сигналов. Группа SRI (работавшая над MINOS) обратилась к символическому ИИ и робототехнике. [117] [118]
Главной проблемой была невозможность обучения многослойных сетей (версии обратного распространения уже использовались в других областях, но они были неизвестны этим исследователям). [121] [120] Сообщество ИИ узнало об обратном распространении в 80-х годах, [122] и в 21 веке нейронные сети стали чрезвычайно успешными, оправдав все оптимистичные предсказания Розенблатта. Однако Розенблат не дожил до этого, поскольку погиб в результате несчастного случая на лодке в 1971 году. [123]
Первое поколение исследователей ИИ сделало следующие прогнозы относительно своей работы:
В июне 1963 года MIT получил грант в размере 2,2 миллиона долларов от недавно созданного Агентства перспективных исследовательских проектов (ARPA, позже известного как DARPA ). Деньги были использованы для финансирования проекта MAC , который поглотил «Группу ИИ», основанную Мински и Маккарти пятью годами ранее. DARPA продолжало предоставлять 3 миллиона долларов каждый год до 70-х годов. [130] DARPA предоставило аналогичные гранты программе Ньюэлла и Саймона в Университете Карнеги-Меллона и Лаборатории ИИ Стэнфордского университета , основанной Джоном Маккарти в 1963 году. [131] Еще одна важная лаборатория ИИ была основана в Эдинбургском университете Дональдом Мичи в 1965 году. [132] Эти четыре учреждения продолжали оставаться основными центрами исследований ИИ и финансирования в академических кругах в течение многих лет. [133] [m]
Деньги были предоставлены с небольшими условиями: Дж. К. Р. Ликлайдер , тогдашний директор ARPA, считал, что его организация должна «финансировать людей, а не проекты!» и позволял исследователям заниматься любыми направлениями, которые могли бы их заинтересовать. [135] Это создало в MIT атмосферу свободы, которая породила культуру хакеров , [136] но этот подход «невмешательства» просуществовал недолго.
В 1970-х годах ИИ подвергся критике и финансовым неудачам. Исследователи ИИ не смогли оценить сложность проблем, с которыми они столкнулись. Их огромный оптимизм невероятно поднял общественные ожидания, и когда обещанные результаты не материализовались, финансирование, направленное на ИИ, было резко сокращено. [137] Отсутствие успеха указывало на то, что методы, которые использовались исследователями ИИ в то время, были недостаточными для достижения их целей. [138] [139]
Однако эти неудачи не повлияли на рост и прогресс в этой области. Сокращение финансирования затронуло лишь несколько крупных лабораторий [140], а критика в значительной степени была проигнорирована. [141] Интерес широкой общественности к этой области продолжал расти, [140] число исследователей резко возросло, [140] и новые идеи были исследованы в логическом программировании , здравом смысле и многих других областях. Историк Томас Хейг утверждал в 2023 году, что зимы не было, [140] а исследователь ИИ Нильс Нильссон описал этот период как самое «захватывающее» время для работы в области ИИ. [142]
В начале семидесятых возможности программ ИИ были ограничены. Даже самые впечатляющие из них могли справиться только с тривиальными версиями проблем, которые они должны были решать; [n] все программы были, в некотором смысле, «игрушками». [144] Исследователи ИИ начали сталкиваться с несколькими ограничениями, которые будут преодолены только десятилетия спустя, и другими, которые все еще ставят эту область в тупик в 2020-х годах:
Агентства, которые финансировали исследования ИИ, такие как британское правительство , DARPA и Национальный исследовательский совет (NRC), были разочарованы отсутствием прогресса и в конечном итоге прекратили почти все финансирование ненаправленных исследований ИИ. Эта тенденция началась в 1966 году, когда отчет Консультативного комитета по автоматической обработке языка (ALPAC) подверг критике усилия по машинному переводу. Потратив 20 миллионов долларов, NRC прекратил всю поддержку. [154] В 1973 году отчет Лайтхилла о состоянии исследований ИИ в Великобритании подверг критике неспособность ИИ достичь своих «грандиозных целей», что привело к сворачиванию исследований ИИ в этой стране. [155] (В отчете конкретно упоминалась проблема комбинаторного взрыва как причина неудач ИИ.) [139] [143] [s] DARPA была глубоко разочарована исследователями, работающими над программой исследований понимания речи в CMU, и отменила ежегодный грант в размере 3 миллионов долларов. [157] [t]
Ганс Моравец обвинил в кризисе нереалистичные прогнозы своих коллег. «Многие исследователи попали в паутину все большего преувеличения». [158] [u] Однако была и другая проблема: с момента принятия поправки Мэнсфилда в 1969 году DARPA находилось под все большим давлением, чтобы финансировать «ориентированные на миссию прямые исследования, а не базовые ненаправленные исследования». Финансирование творческих, свободных исследований, которые велись в 60-х годах, не будет поступать от DARPA, которое вместо этого направило деньги на конкретные проекты с четкими целями, такие как автономные танки и системы управления боем . [159] [v]
Крупнейшие лаборатории (MIT, Стэнфорд, CMU и Эдинбург) получали щедрую поддержку от своих правительств, и когда она была отменена, это были единственные места, которые серьезно пострадали от сокращения бюджета. Тысячи исследователей за пределами этих учреждений и еще больше тысяч, которые присоединялись к этой области, не были затронуты. [140]
Несколько философов решительно возражали против заявлений исследователей ИИ. Одним из первых был Джон Лукас , который утверждал, что теорема Гёделя о неполноте показала, что формальная система (например, компьютерная программа) никогда не сможет увидеть истинность определенных утверждений, в то время как человек может. [161] Хьюберт Дрейфус высмеял нарушенные обещания 1960-х годов и раскритиковал предположения об ИИ, утверждая, что человеческое рассуждение на самом деле включает в себя очень мало «обработки символов» и большую часть воплощенного , инстинктивного , бессознательного « знания как ». [w] [163] Аргумент Джона Сирла о китайской комнате , представленный в 1980 году, пытался показать, что нельзя сказать, что программа «понимает» символы, которые она использует (качество, называемое « преднамеренность »). Если символы не имеют значения для машины, утверждал Сирл, то машину нельзя описать как «мыслящую». [164]
Эти критические замечания не были восприняты всерьез исследователями ИИ. Такие проблемы, как неразрешимость и знание здравого смысла, казались гораздо более непосредственными и серьезными. Было неясно, какое значение имели « знать как » или « преднамеренность » для реальной компьютерной программы. Минский из MIT сказал о Дрейфусе и Сирле, что «они неправильно понимают, и их следует игнорировать». [165] Дрейфус, который также преподавал в MIT , получил холодный прием: позже он сказал, что исследователи ИИ «не осмелились показаться за обедом со мной». [166] Джозеф Вайценбаум , автор ELIZA , также был откровенным критиком позиций Дрейфуса, но он «намеренно дал понять, что [обращение его коллег по ИИ с Дрейфусом] не было способом обращения с человеком» [x] и было непрофессиональным и ребячливым. [168]
У Вайценбаума появились серьезные этические сомнения относительно ИИ, когда Кеннет Колби написал «компьютерную программу, которая может вести психотерапевтический диалог» на основе ELIZA. [169] [170] [y] Вайценбаум был обеспокоен тем, что Колби рассматривал бессмысленную программу как серьезный терапевтический инструмент. Началась вражда, и ситуация не улучшилась, когда Колби не признал Вайценбаума за его вклад в программу. В 1976 году Вайценбаум опубликовал «Мощь компьютеров и человеческий разум» , в которой утверждал, что неправильное использование искусственного интеллекта может обесценить человеческую жизнь. [172]
Логика была введена в исследования ИИ еще в 1958 году Джоном Маккарти в его предложении Advice Taker . [173] [98] В 1963 году Дж. Алан Робинсон открыл простой метод реализации дедукции на компьютерах, алгоритм резолюции и унификации . [98] Однако простые реализации, подобные тем, что были предприняты Маккарти и его учениками в конце 1960-х годов, были особенно неразрешимыми: программы требовали астрономического количества шагов для доказательства простых теорем. [173] [174] Более плодотворный подход к логике был разработан в 1970-х годах Робертом Ковальски в Эдинбургском университете , и вскоре это привело к сотрудничеству с французскими исследователями Аленом Кольмерауэром и Филиппом Русселем которые создали успешный язык логического программирования Prolog . [175] Prolog использует подмножество логики ( предложения Хорна , тесно связанные с « правилами » и « правилами продукций »), которые допускают разрешимые вычисления. Правила продолжали оказывать влияние, обеспечивая основу для экспертных систем Эдварда Фейгенбаума и продолжающейся работы Аллена Ньюэлла и Герберта А. Саймона , которая привела к Soar и их объединенным теориям познания . [176]
Критики логического подхода, как и Дрейфус , отмечали, что люди редко используют логику при решении проблем. Эксперименты психологов, таких как Питер Уэйсон , Элеанор Рош , Амос Тверски , Дэниел Канеман и другие, предоставили доказательства. [z] Маккарти ответил, что то, что делают люди, не имеет значения. Он утверждал, что на самом деле нужны машины, которые могут решать проблемы, а не машины, которые думают так же, как люди. [aa]
Среди критиков подхода Маккарти были его коллеги по всей стране в Массачусетском технологическом институте . Марвин Мински , Сеймур Паперт и Роджер Шенк пытались решить такие проблемы, как «понимание историй» и «распознавание объектов», которые требовали , чтобы машина думала как человек. Чтобы использовать обычные понятия, такие как «стул» или «ресторан», им приходилось делать все те же нелогичные предположения, которые обычно делают люди. К сожалению, такие неточные понятия трудно представить в логике. Вместо этого Массачусетский технологический институт решил сосредоточиться на написании программ, которые решали заданную задачу без использования высокоуровневых абстрактных определений или общих теорий познания, и измерял производительность с помощью итеративного тестирования, а не аргументов из первых принципов. Шенк описал их «антилогические» подходы как неряшливые , в отличие от аккуратной парадигмы, используемой Маккарти , Ковальски , Фейгенбаумом , Ньюэллом и Саймоном . [177] [ab]
В 1975 году в основополагающей статье Мински отметил, что многие из его коллег-исследователей использовали тот же тип инструмента: фреймворк, который охватывает все наши предположения здравого смысла о чем-либо. Например, если мы используем концепцию птицы, есть совокупность фактов, которые сразу приходят на ум: мы можем предположить, что она летает, ест червей и так далее (ни одно из которых не верно для всех птиц). Мински связал эти предположения с общей категорией, и они могли быть унаследованы фреймами для подкатегорий и индивидов или переопределены по мере необходимости. Он назвал эти структуры фреймами . Шэнк использовал версию фреймов, которую он назвал « скриптами », чтобы успешно отвечать на вопросы о коротких рассказах на английском языке. [178] Фреймы в конечном итоге стали широко использоваться в программной инженерии под названием объектно-ориентированное программирование .
Логики приняли вызов. Пэт Хейс утверждал, что «большая часть «фреймов» — это просто новый синтаксис для частей логики первого порядка». Но он отметил, что «есть одна или две, по-видимому, незначительные детали, которые, однако, создают массу проблем, особенно значения по умолчанию». [179]
Рэй Рейтер признал, что «традиционные логики, такие как логика первого порядка, не обладают выразительной силой для адекватного представления знаний, требуемых для рассуждения по умолчанию». [180] Он предложил дополнить логику первого порядка предположением о замкнутом мире , что заключение выполняется (по умолчанию), если его противоположность не может быть доказана. Он показал, как такое предположение соответствует предположению здравого смысла, сделанному в рассуждениях с фреймами. Он также показал, что у него есть свой «процедурный эквивалент» в виде отрицания как неудачи в Prolog . Предположение о замкнутом мире, сформулированное Рейтером, «не является понятием первого порядка. (Это метапонятие.)» [180] Однако Кит Кларк показал, что отрицание как конечная неудача может пониматься как неявное рассуждение с определениями в логике первого порядка, включая предположение об уникальном имени , что разные термины обозначают разных людей. [181]
В конце 1970-х и на протяжении 1980-х годов были разработаны различные логики и расширения логики первого порядка как для отрицания как неудачи в логическом программировании , так и для рассуждений по умолчанию в более общем плане. В совокупности эти логики стали известны как немонотонные логики .
В 1980-х годах корпорациями по всему миру была принята форма программы ИИ под названием « экспертные системы », и знания стали центром основных исследований ИИ. Правительства предоставили существенное финансирование, например, японский проект по созданию компьютеров пятого поколения и стратегическую вычислительную инициативу США . «В целом, индустрия ИИ выросла с нескольких миллионов долларов в 1980 году до миллиардов долларов в 1988 году». [122]
Экспертная система — это программа, которая отвечает на вопросы или решает проблемы в определенной области знаний, используя логические правила , выведенные из знаний экспертов. [182] Самые ранние примеры были разработаны Эдвардом Фейгенбаумом и его учениками. Dendral , начатый в 1965 году, идентифицировал соединения по показаниям спектрометра. [183] [120] MYCIN , разработанный в 1972 году, диагностировал инфекционные заболевания крови. [122] Они продемонстрировали осуществимость подхода.
Экспертные системы ограничили себя небольшой областью конкретных знаний (таким образом избегая проблемы знания здравого смысла ) [120] и их простая конструкция сделала относительно простым создание программ и их последующую модификацию после их внедрения. В целом, программы оказались полезными : то, чего ИИ не мог достичь до этого момента. [184]
В 1980 году в CMU была завершена экспертная система под названием R1 для Digital Equipment Corporation . Это был огромный успех: к 1986 году она экономила компании 40 миллионов долларов ежегодно. [185] Корпорации по всему миру начали разрабатывать и внедрять экспертные системы, и к 1985 году они тратили более миллиарда долларов на ИИ, большую часть из которых — на внутренние отделы ИИ. [186] Выросла отрасль, чтобы поддержать их, включая компании-разработчики оборудования, такие как Symbolics и Lisp Machines , и компании-разработчики программного обеспечения, такие как IntelliCorp и Aion . [187]
В 1981 году Министерство международной торговли и промышленности Японии выделило 850 миллионов долларов на проект компьютеров пятого поколения . Их целью было написать программы и построить машины, которые могли бы вести разговоры, переводить языки, интерпретировать изображения и рассуждать как люди. [188] К большому огорчению нерях , они изначально выбрали Пролог в качестве основного языка программирования для проекта. [189]
Другие страны ответили новыми собственными программами. Великобритания начала проект Alvey стоимостью 350 миллионов фунтов стерлингов . [190] Консорциум американских компаний сформировал Корпорацию микроэлектроники и компьютерных технологий (или «MCC») для финансирования крупномасштабных проектов в области ИИ и информационных технологий. [191] [190] DARPA также отреагировало, основав Стратегическую вычислительную инициативу и утроив свои инвестиции в ИИ в период с 1984 по 1988 год. [192] [193]
Сила экспертных систем исходила из экспертных знаний, которые они содержали. Они были частью нового направления в исследованиях ИИ, которое набирало обороты в 70-х годах. «Исследователи ИИ начали подозревать — неохотно, поскольку это нарушало научный канон бережливости , — что интеллект вполне может быть основан на способности использовать большие объемы разнообразных знаний разными способами», — пишет [194] Памела МакКордак . «[В]еличайший урок 1970-х годов заключался в том, что интеллектуальное поведение во многом зависело от работы со знаниями, иногда довольно подробными знаниями, в области, в которой лежит данная задача». [195] Системы, основанные на знаниях , и инженерия знаний стали основным направлением исследований ИИ в 1980-х годах. [196] Была надежда, что обширные базы данных решат проблему знания здравого смысла и обеспечат поддержку, которая требовалась для рассуждений здравого смысла .
В 1980-х годах некоторые исследователи попытались напрямую подойти к проблеме знания здравого смысла , создав огромную базу данных, которая содержала бы все обыденные факты, известные среднестатистическому человеку. Дуглас Ленат , создавший базу данных под названием Cyc , утверждал, что нет короткого пути — единственный способ для машин узнать значение человеческих понятий — это научить их, по одному понятию за раз, вручную. [197]
Хотя символическое представление знаний и логическое рассуждение создали полезные приложения в 80-х годах и получили огромное финансирование, они все еще не могли решить проблемы восприятия , робототехники , обучения и здравого смысла . Небольшое количество ученых и инженеров начали сомневаться в том, что символический подход когда-либо будет достаточным для этих задач, и разработали другие подходы, такие как « коннекционизм », робототехника , «мягкие» вычисления и обучение с подкреплением . Нильс Нильссон назвал эти подходы «субсимволическими».
В 1982 году физик Джон Хопфилд смог доказать, что форма нейронной сети (теперь называемая « сетью Хопфилда ») может обучаться и обрабатывать информацию, и доказуемо сходится после достаточного времени при любых фиксированных условиях. Это был прорыв, поскольку ранее считалось, что нелинейные сети, в общем, будут развиваться хаотично. [198] Примерно в то же время Джеффри Хинтон и Дэвид Румельхарт популяризировали метод обучения нейронных сетей, называемый « обратным распространением ». [ac] Эти две разработки помогли возродить исследование искусственных нейронных сетей . [122] [199]
Нейронные сети, наряду с несколькими другими подобными моделями, получили широкое внимание после публикации в 1986 году « Параллельной распределенной обработки », двухтомного сборника статей под редакцией Румельхарта и психолога Джеймса Макклелланда . Новое направление было названо « коннекционизмом », и между сторонниками символического ИИ «коннекционистами» разгорелись жаркие дебаты . [122] Хинтон назвал символы « светящимся эфиром ИИ» — то есть неработоспособной и вводящей в заблуждение моделью интеллекта. [122]
В 1990 году Ян Лекун из Bell Labs использовал сверточные нейронные сети для распознавания рукописных цифр. Система широко использовалась в 90-х годах для чтения почтовых индексов и персональных чеков. Это было первое по-настоящему полезное применение нейронных сетей. [200] [201]
Родни Брукс , Ханс Моравек и другие утверждали, что для того, чтобы продемонстрировать настоящий интеллект, машина должна иметь тело — она должна воспринимать, двигаться, выживать и взаимодействовать с миром. [202] Сенсомоторные навыки необходимы для навыков более высокого уровня, таких как рассуждения на основе здравого смысла . Их невозможно эффективно реализовать с помощью абстрактных символических рассуждений, поэтому ИИ должен решать проблемы восприятия, мобильности, манипуляции и выживания, вообще не используя символическое представление. Эти исследователи робототехники выступали за построение интеллекта «снизу вверх». [реклама]
Предшественником этой идеи был Дэвид Марр , который пришел в Массачусетский технологический институт в конце 1970-х годов с успешным опытом в теоретической нейронауке, чтобы возглавить группу, изучающую зрение . Он отверг все символические подходы ( как логику Маккарти , так и рамки Мински ), утверждая, что ИИ необходимо понять физический механизм зрения снизу вверх, прежде чем произойдет какая-либо символическая обработка. (Работа Марра была прервана лейкемией в 1980 году.) [204]
В своей статье 1990 года «Слоны не играют в шахматы» [205] исследователь робототехники Брукс напрямую нацелился на гипотезу физической символьной системы , утверждая, что символы не всегда необходимы, поскольку «мир является своей собственной лучшей моделью. Он всегда точно соответствует действительности. В нем всегда есть все детали, которые только можно узнать. Секрет в том, чтобы ощущать это соответствующим образом и достаточно часто». [206]
В 1980-х и 1990-х годах многие ученые-когнитивисты также отвергли модель обработки символов разумом и утверждали, что тело необходимо для рассуждений, теорию, названную « тезисом воплощенного разума ». [207]
Мягкие вычисления используют методы, которые работают с неполной и неточной информацией. Они не пытаются давать точные, логические ответы, а дают результаты, которые только «вероятно» верны. Это позволило им решать проблемы, с которыми не справлялись точные символические методы. В прессе часто утверждалось, что эти инструменты могут «думать как человек». [208] [209]
Вероятностное рассуждение в интеллектуальных системах: сети правдоподобного вывода Джудеи Перл , влиятельная книга 1988 года [210], привнесла теорию вероятности и принятия решений в ИИ. [211] Нечеткая логика , разработанная Лофти Заде в 60-х годах, начала более широко использоваться в ИИ и робототехнике. Эволюционные вычисления и искусственные нейронные сети также обрабатывают неточную информацию и классифицируются как «мягкие». В 90-х и начале 2000-х годов были разработаны и введены в эксплуатацию многие другие инструменты мягких вычислений, включая байесовские сети , [211] скрытые марковские модели , [211] теорию информации и стохастическое моделирование . Эти инструменты, в свою очередь, зависели от передовых математических методов, таких как классическая оптимизация . Некоторое время в 1990-х и начале 2000-х годов эти мягкие инструменты изучались подразделом ИИ, называемым « вычислительный интеллект ». [212]
Обучение с подкреплением [213] дает агенту вознаграждение каждый раз, когда он хорошо выполняет желаемое действие, и может давать отрицательное вознаграждение (или «наказание»), когда он выполняет плохо. Оно было описано в первой половине двадцатого века психологами, использовавшими модели животных, такими как Торндайк , [214] [215] Павлов [216] и Скиннер . [217] В 1950-х годах Алан Тьюринг [215] [218] и Артур Сэмюэл [215] предвидели роль обучения с подкреплением в ИИ.
Успешная и влиятельная исследовательская программа была проведена Ричардом Саттоном и Эндрю Барто в начале 1972 года. Их сотрудничество произвело революцию в изучении обучения с подкреплением и принятия решений за четыре десятилетия. [219] [220] В 1988 году Саттон описал машинное обучение в терминах теории принятия решений (т. е. процесса принятия решений Марковым ). Это дало предмету прочную теоретическую основу и доступ к большому объему теоретических результатов, разработанных в области исследования операций . [220]
Также в 1988 году Саттон и Барто разработали алгоритм обучения « временной разницы » (TD), в котором агент вознаграждается только тогда, когда его прогнозы о будущем показывают улучшение. Он значительно превзошел предыдущие алгоритмы. [221] Обучение TD использовал Джеральд Тезауро в 1992 году в программе TD-Gammon , которая играла в нарды так же хорошо, как и лучшие игроки-люди. Программа обучалась игре, играя против самой себя с нулевым предварительным знанием. [222] В интересном случае междисциплинарной конвергенции неврологи обнаружили в 1997 году, что система вознаграждения дофамина в мозге также использует версию алгоритма обучения TD. [223] [224] [225] Обучение TD станет очень влиятельным в 21 веке, оно будет использоваться как в AlphaGo , так и в AlphaZero . [226]
Увлечение бизнес-сообщества ИИ росло и спало в 1980-х годах по классической схеме экономического пузыря . Поскольку десятки компаний потерпели крах, в деловом мире сложилось мнение, что технология нежизнеспособна. [227] Ущерб репутации ИИ сохранялся и в 21-м веке. Внутри отрасли не было единого мнения о причинах неспособности ИИ воплотить мечту об интеллекте человеческого уровня, которая захватила воображение мира в 1960-х годах. В совокупности все эти факторы помогли раздробить ИИ на конкурирующие подотрасли, сосредоточенные на конкретных проблемах или подходах, иногда даже под новыми названиями, которые скрывали запятнанную родословную «искусственного интеллекта». [228]
В течение следующих 20 лет ИИ последовательно предоставлял работающие решения для конкретных изолированных проблем. К концу 1990-х годов он использовался во всей технологической отрасли, хотя и несколько за кулисами. Успех был обусловлен ростом вычислительной мощности , сотрудничеством с другими областями (такими как математическая оптимизация и статистика ) и использованием самых высоких стандартов научной ответственности. К 2000 году ИИ достиг некоторых из своих самых старых целей. Область была и более осторожной, и более успешной, чем когда-либо.
Термин « зима ИИ » был придуман исследователями, пережившими сокращение финансирования в 1974 году, когда они были обеспокоены тем, что энтузиазм в отношении экспертных систем вышел из-под контроля и что за этим непременно последует разочарование. [ae] Их опасения были вполне обоснованы: в конце 1980-х и начале 1990-х годов ИИ потерпел ряд финансовых неудач. [122]
Первым признаком перемены погоды стал внезапный крах рынка специализированного оборудования ИИ в 1987 году. Настольные компьютеры от Apple и IBM неуклонно набирали скорость и мощность, и в 1987 году они стали мощнее более дорогих машин Lisp, производимых Symbolics и другими. Больше не было веской причины покупать их. Целая индустрия стоимостью в полмиллиарда долларов была разрушена за одну ночь. [230]
В конце концов, самые ранние успешные экспертные системы, такие как XCON , оказались слишком дорогими в обслуживании. Их было трудно обновлять, они не могли обучаться, и они были « хрупкими » (т. е. они могли совершать гротескные ошибки при получении необычных входных данных). Экспертные системы оказались полезными, но только в нескольких особых контекстах. [231]
В конце 1980-х годов Стратегическая вычислительная инициатива сократила финансирование ИИ «глубоко и жестоко». Новое руководство DARPA решило, что ИИ — это не «следующая волна», и направило средства на проекты, которые, как казалось, с большей вероятностью дадут немедленные результаты. [232]
К 1991 году впечатляющий список целей, написанный в 1981 году для японского проекта пятого поколения, не был достигнут. Действительно, некоторые из них, например, «вести непринужденную беседу», не будут достигнуты еще 40 лет. Как и в случае с другими проектами ИИ, ожидания были намного выше того, что было возможно на самом деле. [233] [af]
Более 300 компаний, занимающихся ИИ, закрылись, обанкротились или были приобретены к концу 1993 года, что фактически положило конец первой коммерческой волне ИИ. [235] В 1994 году Х. П. Ньюквист заявил в The Brain Makers , что «ближайшее будущее искусственного интеллекта — в его коммерческой форме — по-видимому, отчасти зависит от продолжающегося успеха нейронных сетей». [235]
В 1990-х годах алгоритмы, изначально разработанные исследователями ИИ, начали появляться как части более крупных систем. ИИ решил множество очень сложных проблем [ag] , и их решения оказались полезными во всей технологической отрасли, [236] [237] такой как интеллектуальный анализ данных , промышленная робототехника , логистика, распознавание речи , [238] банковское программное обеспечение, [239] медицинская диагностика [239] и поисковая система Google . [240] [241]
Область ИИ получила мало или совсем не получила признания за эти успехи в 1990-х и начале 2000-х годов. Многие из величайших инноваций ИИ были сведены к статусу просто еще одного предмета в ящике с инструментами компьютерной науки. [242] Ник Бостром объясняет: «Многие передовые ИИ просочились в общие приложения, часто не называясь ИИ, потому что как только что-то становится достаточно полезным и достаточно распространенным, оно больше не называется ИИ». [239]
Многие исследователи в области ИИ в 1990-х годах намеренно называли свою работу другими названиями, такими как информатика , системы, основанные на знаниях , «когнитивные системы» или вычислительный интеллект . Отчасти это могло быть связано с тем, что они считали свою область принципиально отличной от ИИ, но также новые названия помогают обеспечить финансирование. [238] [243] [244] По крайней мере, в коммерческом мире невыполненные обещания ИИ Winter продолжали преследовать исследования ИИ в 2000-х годах, как сообщала New York Times в 2005 году: «Ученые-компьютерщики и инженеры-программисты избегали термина «искусственный интеллект», опасаясь, что их сочтут мечтателями с дикими глазами». [245]
Исследователи ИИ начали разрабатывать и использовать сложные математические инструменты больше, чем когда-либо в прошлом. [246] [247] Большинство новых направлений в ИИ в значительной степени опирались на математические модели, включая искусственные нейронные сети , вероятностные рассуждения , мягкие вычисления и обучение с подкреплением . В 90-х и 2000-х годах многие другие высоко математические инструменты были адаптированы для ИИ. Эти инструменты применялись к машинному обучению, восприятию и мобильности.
Было широко распространено понимание того, что многие из проблем, которые должен был решить ИИ, уже разрабатывались исследователями в таких областях, как статистика , математика , электротехника , экономика или исследование операций . Общий математический язык позволил как достичь более высокого уровня сотрудничества с более устоявшимися и успешными областями, так и достичь результатов, которые были измеримы и доказуемы; ИИ стал более строгой «научной» дисциплиной.
Другой ключевой причиной успеха в 90-х годах было то, что исследователи ИИ сосредоточились на конкретных проблемах с проверяемыми решениями (подход, который позже высмеяли как узкий ИИ ). Это давало полезные инструменты в настоящем, а не спекуляции о будущем.
Новая парадигма под названием « интеллектуальные агенты » получила широкое распространение в 1990-х годах. [248] [249] [ah] Хотя более ранние исследователи предлагали модульные подходы «разделяй и властвуй» к ИИ, [ai] интеллектуальный агент не достиг своей современной формы, пока Джуда Перл , Аллен Ньюэлл , Лесли П. Кэлблинг и другие не привнесли концепции из теории принятия решений и экономики в изучение ИИ. [250] Когда экономическое определение рационального агента было объединено с определением объекта или модуля в компьютерной науке , парадигма интеллектуального агента была завершена.
Интеллектуальный агент — это система, которая воспринимает окружающую среду и предпринимает действия, которые максимизируют ее шансы на успех. Согласно этому определению, простые программы, решающие определенные проблемы, являются «интеллектуальными агентами», как и люди и организации людей, такие как фирмы . Парадигма интеллектуального агента определяет исследования ИИ как «изучение интеллектуальных агентов». [aj] Это обобщение некоторых более ранних определений ИИ: оно выходит за рамки изучения человеческого интеллекта; оно изучает все виды интеллекта.
Парадигма дала исследователям лицензию на изучение отдельных проблем и несогласие с методами, но при этом сохраняла надежду, что их работа может быть объединена в архитектуру агента , способного к общему интеллекту. [251]
11 мая 1997 года Deep Blue стала первой компьютерной шахматной системой, которая победила действующего чемпиона мира по шахматам Гарри Каспарова . [252] В 2005 году робот из Стэнфорда выиграл DARPA Grand Challenge , проехав автономно 131 милю по неотрепетированной пустынной трассе. Два года спустя команда из CMU выиграла DARPA Urban Challenge , автономно проехав 55 миль в городской среде, реагируя на опасности на дороге и соблюдая правила дорожного движения. [253]
Эти успехи были обусловлены не какой-то революционной новой парадигмой, а в основном утомительным применением инженерного мастерства и колоссальным ростом скорости и мощности компьютеров к 90-м годам. [ak] Фактически, компьютер Deep Blue был в 10 миллионов раз быстрее, чем Ferranti Mark 1 , который Кристофер Стрейчи учил играть в шахматы в 1951 году. [al] Этот резкий рост измеряется законом Мура , который предсказывает, что скорость и объем памяти компьютеров удваиваются каждые два года. Фундаментальная проблема «чистой компьютерной мощности» медленно преодолевалась.
В первые десятилетия 21-го века доступ к большим объемам данных (известным как « большие данные »), более дешевые и быстрые компьютеры и передовые методы машинного обучения были успешно применены для решения многих проблем в экономике. Поворотным моментом стал успех глубокого обучения около 2012 года, который улучшил производительность машинного обучения для многих задач, включая обработку изображений и видео, анализ текста и распознавание речи. [255] Инвестиции в ИИ увеличились вместе с его возможностями, и к 2016 году рынок продуктов, оборудования и программного обеспечения, связанных с ИИ, достиг более 8 миллиардов долларов, а New York Times сообщила, что интерес к ИИ достиг «безумия». [256]
В 2002 году Бен Герцель и другие стали беспокоиться о том, что ИИ в значительной степени отказался от своей первоначальной цели создания универсальных, полностью интеллектуальных машин, и выступили в пользу более прямых исследований в области общего искусственного интеллекта . К середине 2010-х годов было основано несколько компаний и учреждений для изучения общего искусственного интеллекта (AGI), таких как OpenAI и DeepMind от Google . В тот же период новые идеи о сверхинтеллекте вызвали опасения, что ИИ представляет собой экзистенциальную угрозу . Риски и непреднамеренные последствия технологии ИИ стали областью серьезных академических исследований после 2016 года.
Успех машинного обучения в 2000-х годах зависел от доступности огромных объемов обучающих данных и более быстрых компьютеров. [257] Рассел и Норвиг писали, что «улучшение производительности, полученное за счет увеличения размера набора данных на два или три порядка, перевешивает любое улучшение, которое можно было сделать, настроив алгоритм». [200] Джеффри Хинтон вспоминал, что еще в 90-х годах проблема заключалась в том, что «наши маркированные наборы данных были в тысячи раз меньше. [И] наши компьютеры были в миллионы раз медленнее». [258] К 2010 году это уже не было так.
Самые полезные данные в 2000-х годах поступали из курируемых, маркированных наборов данных, созданных специально для машинного обучения и ИИ. В 2007 году группа в UMass Amherst выпустила Labeled Faces in the Wild, аннотированный набор изображений лиц, который широко использовался для обучения и тестирования систем распознавания лиц в течение следующих нескольких десятилетий. [259] Фэй-Фэй Ли разработал ImageNet , базу данных из трех миллионов изображений, подписанных добровольцами с помощью Amazon Mechanical Turk . Выпущенная в 2009 году, она была полезным массивом обучающих данных и эталоном для тестирования следующего поколения систем обработки изображений. [260] [200] Google выпустила word2vec в 2013 году как ресурс с открытым исходным кодом. Он использовал большие объемы текстовых данных, извлеченных из Интернета, и встраивание слов для создания числового вектора для представления каждого слова. Пользователи были удивлены тем, насколько хорошо он способен улавливать значения слов, например, обычное сложение векторов давало бы эквивалентности вроде Китай + Река = Янцзы, Лондон + Англия-Франция = Париж. [261] Эта база данных, в частности, имела бы важное значение для разработки больших языковых моделей в конце 2010-х годов.
Взрывной рост интернета дал программам машинного обучения доступ к миллиардам страниц текста и изображений, которые можно было извлечь . А для решения конкретных задач соответствующие данные содержались в крупных частных базах данных. McKinsey Global Institute сообщил, что «к 2009 году почти все секторы экономики США имели в среднем не менее 200 терабайт хранимых данных». [262] Этот набор информации в 2000-х годах был известен как большие данные .
В феврале 2011 года в показательном матче викторины Jeopardy! система ответов на вопросы IBM , Watson , победила двух лучших чемпионов Jeopardy!, Брэда Раттера и Кена Дженнингса , со значительным отрывом. [263] Экспертные знания Watson были бы невозможны без информации, доступной в Интернете. [200]
В 2012 году AlexNet , модель глубокого обучения , [am] разработанная Алексом Крижевским , выиграла конкурс ImageNet Large Scale Visual Recognition Challenge , допустив значительно меньше ошибок, чем победитель, занявший второе место. [265] [200] Крижевский работал с Джеффри Хинтоном в Университете Торонто . [an] Это был поворотный момент в машинном обучении: в течение следующих нескольких лет десятки других подходов к распознаванию изображений были заброшены в пользу глубокого обучения . [257]
Глубокое обучение использует многослойный персептрон . Хотя эта архитектура известна с 60-х годов, для ее работы требуется мощное оборудование и большие объемы обучающих данных. [266] До того, как они стали доступны, для повышения производительности систем обработки изображений требовались вручную созданные специальные функции, которые было трудно реализовать. [266] Глубокое обучение было проще и более общим. [ao]
Глубокое обучение применялось к десяткам проблем в течение следующих нескольких лет (таких как распознавание речи, машинный перевод, медицинская диагностика и игры). В каждом случае оно показало огромный прирост производительности. [257] В результате инвестиции и интерес к ИИ резко возросли. [257]
В 2000-х годах стало модно снова начать говорить о будущем ИИ, и несколько популярных книг рассматривали возможность сверхразумных машин и то, что они могут означать для человеческого общества. Некоторые из них были оптимистичными (например, «Сингулярность рядом » Рэя Курцвейла ), но другие предупреждали, что достаточно мощный ИИ представляет собой экзистенциальную угрозу человечеству, например, Ник Бостром и Элиезер Юдковски . [267] Тема широко освещалась в прессе, и многие ведущие интеллектуалы и политики прокомментировали этот вопрос.
Программы ИИ в 21 веке определяются их целями — конкретными мерами, которые они призваны оптимизировать. Влиятельная книга Ника Бострома 2005 года «Суперинтеллект» утверждала, что если не быть осторожным в определении этих целей, машина может причинить вред человечеству в процессе достижения цели. Стюарт Дж. Рассел использовал пример интеллектуального робота, который убивает своего владельца, чтобы предотвратить его отключение от сети, рассуждая «вы не можете принести кофе, если вы мертвы». [268] (Эта проблема известна под техническим термином « инструментальная конвергенция ».) Решение состоит в том, чтобы согласовать целевую функцию машины с целями ее владельца и человечества в целом. Таким образом, проблема смягчения рисков и непреднамеренных последствий ИИ стала известна как «проблема выравнивания ценностей» или выравнивание ИИ . [269]
В то же время системы машинного обучения начали иметь тревожные непреднамеренные последствия. Кэти О'Нил объяснила, как статистические алгоритмы были среди причин экономического краха 2008 года , [270] Джулия Энгвин из ProPublica утверждала, что система COMPAS , используемая системой уголовного правосудия, демонстрировала расовую предвзятость при некоторых мерах, [271] [ap] другие показали, что многие системы машинного обучения демонстрировали некоторую форму расовой предвзятости , [273] и было много других примеров опасных результатов, которые были результатом систем машинного обучения. [aq]
В 2016 году выборы Дональда Трампа и споры по поводу системы COMPAS выявили несколько проблем с текущей технологической инфраструктурой, включая дезинформацию, алгоритмы социальных сетей, разработанные для максимального вовлечения, неправомерное использование персональных данных и надежность прогностических моделей. [274] Вопросы справедливости и непреднамеренных последствий стали значительно более популярными на конференциях по ИИ, публикации значительно увеличились, финансирование стало доступным, и многие исследователи переориентировали свою карьеру на эти вопросы. Проблема согласования ценностей стала серьезной областью академических исследований. [275] [ar]
В начале 2000-х годов несколько исследователей были обеспокоены тем, что основной ИИ был слишком сосредоточен на «измеримой производительности в конкретных приложениях» [277] (известной как « узкий ИИ ») и отказался от первоначальной цели ИИ — создания универсальных, полностью интеллектуальных машин. Одним из первых критиков был Нильс Нильссон в 1995 году, и похожие мнения были опубликованы старейшинами в области ИИ Джоном Маккарти, Марвином Мински и Патриком Уинстоном в 2007-2009 годах. Мински организовал симпозиум по «ИИ человеческого уровня» в 2004 году. [277] Бен Герцель принял термин « искусственный общий интеллект » для новой подобласти, основав журнал и проводя конференции, начиная с 2008 года. [278] Новая область быстро росла, поддерживаемая продолжающимся успехом искусственных нейронных сетей и надеждой, что это ключ к AGI.
Несколько конкурирующих компаний, лабораторий и фондов были основаны для разработки AGI в 2010-х годах. DeepMind была основана в 2010 году тремя английскими учеными, Демисом Хассабисом , Шейном Леггом и Мустафой Сулейманом , при финансировании Питера Тиля и позднее Илона Маска . Основатели и финансисты были глубоко обеспокоены безопасностью ИИ и экзистенциальным риском ИИ . Основатели DeepMind имели личную связь с Юдковски, и Маск был среди тех, кто активно поднимал тревогу. [279] Хассабис был одновременно обеспокоен опасностями AGI и оптимистичен в отношении его мощи; он надеялся, что они смогут «решить проблему ИИ, а затем решить все остальное». [280]
В 2012 году к Джеффри Хинтону (который руководил исследованиями нейронных сетей с 80-х годов) обратилась компания Baidu , которая хотела нанять его и всех его студентов за огромную сумму. Хинтон решил провести аукцион, и на конференции по искусственному интеллекту в озере Тахо они продались Google за 44 миллиона долларов. Хассабис обратил на это внимание и продал DeepMind Google в 2014 году при условии, что компания не будет принимать военные контракты и будет контролироваться советом по этике. [279]
Ларри Пейдж из Google, в отличие от Маска и Хассабиса, был оптимистом относительно будущего ИИ. Маск и Пейдж ввязались в спор о риске AGI на вечеринке по случаю дня рождения Маска в 2015 году. Они были друзьями в течение десятилетий, но вскоре после этого перестали общаться. Маск посетил единственное заседание этического совета DeepMind, где стало ясно, что Google не заинтересована в смягчении вреда AGI. Разочарованный отсутствием своего влияния, он основал OpenAI в 2015 году, привлек Сэма Альтмана для управления ею и нанял лучших ученых. OpenAI начиналась как некоммерческая организация, «свободная от экономических стимулов, которые двигали Google и другие корпорации». [279] Маск снова разочаровался и покинул компанию в 2018 году. OpenAI обратилась к Microsoft за постоянной финансовой поддержкой, и Альтман и OpenAI сформировали коммерческую версию компании с финансированием более 1 миллиарда долларов. [279]
В 2021 году Дарио Амодеи и 14 других ученых покинули OpenAI из-за опасений, что компания ставит прибыль выше безопасности. Они основали Anthropic , которая вскоре получила $6 млрд финансирования от Microsoft и Google. [279]
The New York Times писала в 2023 году: «В основе этого соревнования лежит парадокс, требующий напряжения мозга. Люди, которые говорят, что больше всего беспокоятся об ИИ, являются одними из самых решительных в его создании и использовании его богатств. Они оправдывают свои амбиции твердой верой в то, что только они могут уберечь ИИ от угрозы Земле». [279]
Бум ИИ начался с первоначальной разработки ключевых архитектур и алгоритмов, таких как архитектура transformer в 2017 году, что привело к масштабированию и разработке больших языковых моделей, демонстрирующих человеческие черты знания, внимания и креативности. Новая эра ИИ началась около 2020–2023 годов с публичным выпуском масштабированных больших языковых моделей (LLM), таких как ChatGPT . [281]
В 2017 году исследователи Google предложили архитектуру transformer . Она использует механизм внимания и стала широко использоваться в больших языковых моделях. [282]
Большие языковые модели , основанные на трансформаторе, были разработаны компаниями AGI: OpenAI выпустила GPT-3 в 2020 году, а DeepMind выпустила Gato в 2022 году. Это базовые модели : они обучаются на огромных объемах немаркированных данных и могут быть адаптированы к широкому спектру последующих задач. [ необходима цитата ]
Эти модели могут обсуждать огромное количество тем и отображать общие знания. Возникает естественный вопрос: являются ли эти модели примером искусственного общего интеллекта ? Билл Гейтс скептически относился к новой технологии и шумихе, которая окружала AGI. Однако Альтман представил ему живую демонстрацию ChatGPT4, прошедшего расширенный тест по биологии. Гейтс был убежден. [279] В 2023 году Microsoft Research протестировала модель с большим количеством разнообразных задач и пришла к выводу, что «ее можно обоснованно рассматривать как раннюю (но все еще неполную) версию системы искусственного общего интеллекта (AGI)». [283]
DeepMind описывает свой подход как « нейросимволический », поскольку они используют глубокое обучение в сочетании с символическими методами. Например, AlphaZero использует глубокое обучение для оценки силы позиции и предложения политик (курсов действий), но использует поиск по дереву Монте-Карло для прогнозирования новых позиций. [ необходима цитата ]
Инвестиции в ИИ росли экспоненциально после 2020 года. [ необходима цитата ]
К середине 2024 года несколько финансовых компаний начали сомневаться в способности компаний ИИ окупать инвестиции . Некоторые наблюдатели [ кто? ] предположили, что ИИ переживает очередной пузырь . [ нужна цитата ]
В 2024 году Королевская шведская академия наук вручила Нобелевские премии в знак признания новаторского вклада в искусственный интеллект. Среди лауреатов были:
.