Премия Лебнера — это ежегодный конкурс в области искусственного интеллекта , в ходе которого присуждались компьютерные программы, которые судьи считали наиболее похожими на человека. Формат конкурса был стандартным тестом Тьюринга . В каждом раунде судья-человек одновременно вел текстовые беседы с компьютерной программой и человеком через компьютер. На основании ответов судья попытается определить, что есть что.
Конкурс был учрежден в 1990 году Хью Лебнером совместно с Кембриджским центром поведенческих исследований , Массачусетс , США . Начиная с 2014 года [1] он был организован AISB в Блетчли -Парке . [2] Он также был связан с Университетом Флиндерс , Дартмутским колледжем , Музеем науки в Лондоне , Университетом Рединга и Ольстерским университетом , кампусом Маги , Дерри , городом культуры Великобритании . В 2004 и 2005 годах он проходил в квартире Лебнера в Нью-Йорке . В области искусственного интеллекта премия Лебнера вызывает некоторые споры; Самый известный критик Марвин Мински назвал это рекламным ходом, который не помогает отрасли. [3]
Формат финального конкурса 2019 года изменился. Судейской коллегии не было. Вместо этого чат-боты оценивались публикой, и среди людей не должно было быть конкурентов. [4] Сообщается, что с 2020 года премия прекратила свое существование. [5]
Первоначально за самую человечную программу конкурса была присуждена 2000 долларов. Приз составил 3000 долларов в 2005 году и 2250 долларов в 2006 году. В 2008 году было присуждено 3000 долларов.
Кроме того, были вручены две разовые премии, которые так и не были вручены. 25 000 долларов предлагается за первую программу, которую судьи не смогут отличить от настоящего человека и которая сможет убедить судей в том, что человек — это компьютерная программа. 100 000 долларов — это награда за первую программу, которую судьи не смогут отличить от настоящего человека в тесте Тьюринга, включающем расшифровку и понимание текстовых, визуальных и слуховых входных данных. Конкурс планировалось завершить после достижения этого приза.
Правила менялись с годами, и на первых соревнованиях проводились ограниченные разговорные тесты Тьюринга [6], но с 1995 года обсуждение стало неограниченным.
Для трех заявок 2007 года (Роберт Медексза, Ной Дункан и Ролло Карпентер ) [7] спонсор использовал несколько основных «проверочных вопросов» для оценки состояния технологии. В их число входили простые вопросы о времени, о том, какой сейчас тур конкурса и т. д.; общие знания («Для чего нужен молоток?»); сравнения («Что быстрее, поезд или самолет?»); и вопросы, демонстрирующие запоминание предыдущих частей одного и того же разговора. «Все существительные, прилагательные и глаголы взяты из словаря, подходящего для детей и подростков в возрасте до 12 лет». Для того чтобы заявки были приняты, не обязательно было «разумно» отвечать на вопросы.
Впервые в 2008 году спонсор разрешил ввести предварительный этап конкурса, открыв конкурс для ранее запрещенных заявок через Интернет, которые будут оцениваться различными приглашенными исследователями. В имеющихся правилах не указано, как отбираются и инструктируются следователи. У следователей (судящих системы) время ограничено: 5 минут на одного субъекта в соревнованиях 2003 г., 20+ на пару в соревнованиях 2004–2007 гг., 5 минут на ведение одновременных разговоров с человеком и программой в 2008–2009 гг. увеличено до 25. минут одновременного разговора с 2010 года.
Эта премия уже давно вызывает презрение со стороны экспертов в этой области [8] по ряду причин.
Многие считают это пиар-ходом. [9] [10] Марвин Мински язвительно предложил «приз» любому, кто сможет остановить соревнование. В ответ Лёбнер в шутку заметил, что предложение Минского приза за прекращение конкурса фактически сделало его соавтором. [11]
Правила соревнований поощряют неквалифицированных судей выносить поспешные решения. Взаимодействие между судьями и участниками изначально было очень кратким, например, фактически допрос длился 2,5 минуты, что позволяло задать лишь несколько вопросов. [9] Первоначально вопросы были ограничены одной темой по выбору участника, такой как «причудливый разговор», [8] [12] областью, подходящей для стандартных трюков чат-бота. [13]
Участники конкурса не стремятся к пониманию или интеллекту, а прибегают к основным трюкам в стиле ELIZA , [9] [14] , и успешные участники обнаруживают, что обман и притворство вознаграждаются. [15]
В 2006 году конкурс организовали Тим Чайлд (генеральный директор Televirtual) и Хума Шах. [16] [17] 30 августа были объявлены четыре финалиста:
Конкурс прошел 17 сентября в VR-театре кампуса Торрингтон-Плейс Университетского колледжа Лондона . В состав судей входили профессор кибернетики Университета Рединга Кевин Уорвик , профессор искусственного интеллекта Джон Барнден (специалист по исследованиям метафор в Университете Бирмингема ), адвокат Виктория Батлер-Коул и журналист Грэм Дункан-Роу. С впечатлениями последнего о мероприятии можно ознакомиться в статье в Technology Review . [18] [19] Победителем стала «Джоан», основанная на Джабберваки , оба созданы Ролло Карпентером.
Конкурс 2007 года прошел 21 октября в Нью-Йорке. Судьями были: профессор информатики Расс Эбботт, профессор философии Хартри Филд , доцент психологии Клейтон Кертис и преподаватель английского языка Скотт Хатчинс . [20]
Ни один бот не прошел тест Тьюринга, но судьи оценили трех участников следующим образом:
Победитель получил 2250 долларов и ежегодную медаль. Участники, занявшие второе место, получили по 250 долларов каждый.
Конкурс 2008 года был организован профессором Кевином Уориком при координации Хумы Шаха и прошел 12 октября в Университете Рединга, Великобритания . [21] После тестирования более чем ста судей на предварительном этапе, в июне и июле 2008 года, шесть финалистов были выбраны из тринадцати первоначальных искусственных диалоговых объектов (ACE). В финале соревновались пятеро из приглашенных:
В финале каждому судье было дано пять минут на то, чтобы вести одновременный разговор на разделенном экране с двумя скрытыми существами. Элбот [22] из Artificial Solutions [23] получил бронзовую награду премии Лёбнера в 2008 году за самое человекоподобное искусственное диалоговое существо, обманув троих из двенадцати судей, допрашивавших его (в ходе параллельного сравнения между людьми), заставив их поверить в то, что это человек. . Это очень близко к 30%, которые традиционно требуются для того, чтобы считать, что программа действительно прошла тест Тьюринга. Юджин Густман [24] и Ультра Хэл [25] оба обманули одного судью, что это был человек.
Уилл Павиа, журналист The Times , написал о своем опыте; Судья финала Лебнера, его обманули Элбот и Юджин. [26] Кевин Уорвик и Хума Шах сообщили о параллельных парных тестах Тьюринга. [27]
Конкурс на премию Лебнера 2009 года проводился 6 сентября 2009 года в Брайтон-центре , Брайтон , Великобритания, одновременно с конференцией Interspeech 2009. Сумма приза в 2009 году составила 3000 долларов США.
Участниками были Дэвид Леви , Ролло Карпентер и Мохан Эмбар, которые финишировали именно в таком порядке.
Писатель Брайан Кристиан участвовал в конкурсе на премию Лебнера 2009 года в качестве сообщника-человека и описал свой опыт участия в конкурсе в своей книге «Самый человечный человек» .
Конкурс на премию Лебнера 2010 года состоялся 23 октября в Калифорнийском государственном университете в Лос-Анджелесе. Конкурс 2010 года стал 20-м по счету. Победителем стал Брюс Уилкокс с Сюзетт.
Конкурс на премию Лебнера 2011 года состоялся 19 октября в Эксетерском университете , Девон , Великобритания. Сумма приза в 2011 году составила 4000 долларов США.
Четырьмя финалистами и их чат-ботами стали Брюс Уилкокс (Розетта), Адина Миньогна (Зои), Мохан Эмбар (Чип Вивант) и Рон Ли (Репетитор), которые финишировали именно в таком порядке.
В том же году в состав жюри вошли молодые судьи, а именно Джорджия-Мэй Линдфилд, Уильям Данн, Сэм Кит и Кирилл Джердев. Результаты юниорского конкурса заметно отличались от основного: первое место разделили чат-боты Tutor и Zoe, а третье и четвертое места соответственно заняли Chip Vivant и Rosette.
Конкурс на премию Лебнера 2012 года проводился 15 мая в Блетчли-парке в Блетчли , Бакингемшир , Англия, в честь празднования столетия Алана Тьюринга . Сумма приза в 2012 году составила 5000 долларов США. Организатором местных аранжировок был Дэвид Леви, лауреат премии Лебнера в 1997 и 2009 годах.
Четырьмя финалистами и их чат-ботами стали Мохан Эмбар (Чип Вивант), Брюс Уилкокс (Анжела), Дэниел Берк (Адам), М. Аллан (Лингуо), которые финишировали именно в таком порядке.
В том же году команда факультета компьютерных наук Эксетерского университета (Эд Кидвелл, Макс Дюпенуа и Кент МакКлимонт) провела первую в истории прямую интернет-трансляцию бесед. [28]
Конкурс на премию Лебнера 2013 года проводился, единственный раз на острове Ирландия , 14 сентября в Ольстерском университете , колледже Маги , Дерри , Северная Ирландия , Великобритания.
Четырьмя финалистами и их чат-ботами стали Стив Уорсвик (Мицуку), доктор Рон С. Ли (репетитор), Брюс Уилкокс (Роуз) и Брайан Ригсби (Изар), которые финишировали именно в таком порядке.
Судьями были профессор Роджер Шанк (Сократическое искусство), профессор Ноэль Шарки ( Шеффилдский университет ), профессор Минхуа (Юнис) Ма ( Университет Хаддерсфилда , затем Университет Глазго ) и профессор Майк МакТир ( Университет Ольстера ).
На конкурсе Junior Loebner Prize 2013 чат-боты Мицуку и Тьютор разделили первое место, а Роуз и Изар заняли 3-е и 4-е места соответственно.
Конкурс на премию Лебнера 2014 года проходил в Блетчли-парке, Англия, в субботу, 15 ноября 2014 года. Мероприятие было снято в прямом эфире Sky News. Приглашенным судьей стал телеведущий и телеведущий Джеймс Мэй.
После двухчасового судейства победителем была признана «Роза» Брюса Уилкокса. Брюс получит чек на 4000 долларов и бронзовую медаль. Ранги были следующими:
Роуз — 1 место (4000 долларов и бронзовая медаль); Изар - Ранг 2,25 (1500$); Убербот — Ранг 3,25 (1000$); и Мицуку — ранг 3,5 (500 долларов).
Судьями были доктор Ян Хокинг, писатель и старший преподаватель психологии Колледжа Крайст-Черч, Кентербери; д-р Гита Куадри-Мостефауи, преподаватель компьютерных наук и технологий Бедфордширского университета; г-н Джеймс Мэй, телеведущий и телеведущий; и д-р Пол Сант, декан UCMK Бедфордширского университета.
Конкурс на премию Лебнера 2015 года снова выиграла «Роза» Брюса Уилкокса. [29]
Судьями были Джейкоб Аарон, репортер журнала New Scientist по физике; Рори Селлан-Джонс, корреспондент BBC по технологиям; Бретт Марти, кинорежиссер и фотограф; Ариадна Тампион, писательница.
Премия Лебнера 2016 года прошла в Блетчли-парке 17 сентября 2016 года. После двух часов судейства были объявлены окончательные результаты. Ранги были следующими:
Премия Лёбнера 2017 года была проведена в Блетчли-парке 16 сентября 2017 года. Это был первый конкурс, в котором использовалось новое сообщение по протоколу сообщения, а не традиционное по одному символу за раз. Ранги были следующими и были объявлены Nao_(роботом) :
Премия Лебнера 2018 года проводилась в Блетчли-парке 8 сентября 2018 года. Это был последний раз, когда она проводилась в традиционном формате теста Тьюринга, и последний раз в Блетчли-парке. Ранги были следующими:
Премия Лёбнера 2019 года проходила в Университете Суонси с 12 по 15 сентября в рамках более крупной выставки, посвященной творчеству компьютеров. Формат конкурса изменился с традиционного теста Тьюринга с избранными судьями и людьми на четырехдневную сессию тестирования, где представители широкой публики, включая школьников, могли взаимодействовать с ботами, заранее зная, что боты не люди. . Вместо обычных 4-х финалистов приняли участие семнадцать ботов. Стив Уорсвик в рекордный 5-й раз одержал победу вместе с Мицуку, что позволило ему попасть в Книгу рекордов Гиннеса. [31]
Избранное жюри из судей также рассмотрело и проголосовало за те, которые им понравились больше всего. Ранги были следующими:
Самый человекоподобный чат-бот:
Лучший чат-бот в целом
Официальный список победителей. [32]
Разговор с победителем 1992 года; тема: мужчины и женщины