Премия Лёбнера была ежегодным конкурсом в области искусственного интеллекта , в котором присуждались призы компьютерным программам, которые судьи считали наиболее похожими на людей. Формат конкурса был стандартным тестом Тьюринга . В каждом раунде судья-человек одновременно вел текстовые беседы с компьютерной программой и человеком через компьютер. Основываясь на ответах, судья пытался определить, что есть что.
Конкурс был запущен в 1990 году Хью Лёбнером совместно с Кембриджским центром поведенческих исследований , Массачусетс , США . В 2004 и 2005 годах он проводился в квартире Лёбнера в Нью-Йорке . В области искусственного интеллекта премия Лёбнера является несколько спорной; наиболее известный критик, Марвин Мински , назвал ее рекламным трюком, который не помогает этой области. [1] Начиная с 2014 года [2] она была организована AISB в Блетчли-парке . [3] Она также была связана с Университетом Флиндерса , Дартмутским колледжем , Музеем науки в Лондоне , Университетом Рединга и Ольстерским университетом , кампусом Маги , Дерри , городом культуры Великобритании .
Для финального конкурса 2019 года формат изменился. Не было никакой судейской коллегии. Вместо этого чат-боты оценивались публикой, и не должно было быть никаких живых участников. [4] Сообщается, что премия не существует с 2020 года. [5]
Первоначально за самую человечную программу в конкурсе присуждалось $2000. В 2005 году приз составил $3000, а в 2006 году — $2250. В 2008 году присуждалось $3000.
Кроме того, было два единовременных приза, которые никогда не присуждались. 25 000 долларов США предлагается за первую программу, которую судьи не смогут отличить от настоящего человека и которая сможет убедить судей, что человек — это компьютерная программа. 100 000 долларов США — награда за первую программу, которую судьи не смогут отличить от настоящего человека в тесте Тьюринга, включающем расшифровку и понимание текста, визуального и слухового ввода. Планировалось, что конкурс будет завершен после получения этого приза.
Правила менялись с течением лет, и на ранних этапах соревнований обсуждение вопросов проходило в ограниченном объеме с использованием тестов Тьюринга [6], но с 1995 года обсуждение стало неограниченным.
Для трех заявок в 2007 году, Роберта Медексзы, Ноа Дункана и Ролло Карпентера , [7] спонсор использовал некоторые базовые «отборочные вопросы» для оценки состояния технологии. Они включали простые вопросы о времени, о том, какой сейчас раунд конкурса и т. д.; общие знания («Для чего нужен молоток?»); сравнения («Что быстрее, поезд или самолет?»); и вопросы, демонстрирующие память на предыдущие части того же разговора. «Все существительные, прилагательные и глаголы будут взяты из словаря, подходящего для детей или подростков младше 12 лет». Заявкам не нужно было «интеллигентно» отвечать на вопросы, чтобы быть принятыми.
Впервые в 2008 году спонсор разрешил введение предварительной фазы в конкурс, открыв конкурс для ранее запрещенных веб-заявок, оцениваемых различными приглашенными дознавателями. В имеющихся правилах не указано, как отбираются или инструктируются дознаватели. Дознаватели (которые оценивают системы) имеют ограниченное время: 5 минут на сущность в конкурсе 2003 года, 20+ на пару в конкурсах 2004–2007 годов, 5 минут для проведения одновременных разговоров с человеком и программой в 2008–2009 годах, увеличено до 25 минут одновременного разговора с 2010 года.
Премия долгое время подвергалась пренебрежению со стороны экспертов в этой области [8] по разным причинам.
Многие считают это рекламным трюком. [9] [10] Марвин Мински язвительно предложил «приз» любому, кто сможет остановить соревнование. Лёбнер ответил шутливым замечанием, что предложение Мински приза за прекращение соревнования фактически сделало его соавтором. [11]
Правила конкурса поощряли судей с низкой квалификацией выносить быстрые суждения. Взаимодействие между судьями и участниками изначально было очень кратким, например, фактически 2,5 минуты опроса, что позволяло задать лишь несколько вопросов. [9] Опрос изначально был ограничен одной темой по выбору участника, например, «причудливая беседа», [8] [12] область, подходящая для стандартных трюков чат-бота. [13]
Участники конкурса не стремятся к пониманию или интеллекту , а прибегают к базовым трюкам в стиле ELIZA [9] [14] , и успешные участники обнаруживают, что обман и притворство вознаграждаются. [15]
В 2006 году конкурс был организован Тимом Чайлдом (генеральным директором Televirtual) и Хумой Шах. [7] [16] 30 августа были объявлены четыре финалиста:
Конкурс прошёл 17 сентября в театре виртуальной реальности в кампусе Torrington Place Лондонского университетского колледжа . В состав судей вошли профессор кибернетики Университета Рединга Кевин Уорвик , профессор искусственного интеллекта Джон Барнден (специалист по исследованию метафор в Университете Бирмингема ), адвокат Виктория Батлер-Коул и журналист Грэм Дункан-Роу. Впечатления последнего от мероприятия можно найти в статье в Technology Review . [17] [18] Победителем стала «Джоан», основанная на «Бармоуэки» , оба персонажа созданы Ролло Карпентером.
Конкурс 2007 года прошёл 21 октября в Нью-Йорке. Судьями были: профессор компьютерных наук Расс Эбботт, профессор философии Хартри Филд , доцент психологии Клейтон Кертис и преподаватель английского языка Скотт Хатчинс . [19]
Ни один бот не прошел тест Тьюринга, но судьи оценили трех участников следующим образом:
Победитель получил $2250 и годовую медаль. Участники, занявшие второе место, получили по $250.
Конкурс 2008 года был организован профессором Кевином Уориком, координировался Хумой Шах и проводился 12 октября в Университете Рединга, Великобритания . [20] После тестирования более чем ста судьями на предварительном этапе, в июне и июле 2008 года, из тринадцати оригинальных участников были отобраны шесть финалистов. Пять из приглашенных соревновались в финале:
В финале каждому из судей было дано пять минут для проведения одновременных разговоров на разделенном экране с двумя скрытыми сущностями. Элбот [21] из Artificial Solutions [22] выиграл бронзовую награду премии Лёбнера 2008 года за самую похожую на человека искусственную разговорную сущность, обманув троих из двенадцати судей, которые допрашивали его (в сравнениях с человеком), поверив, что он человек. Это очень близко к 30%, традиционно требуемым для того, чтобы считать, что программа действительно прошла тест Тьюринга. Юджин Густман [23] и Ультра Хэл [24] оба обманули по одному судье, что это был человек.
Уилл Павия, журналист The Times , написал о своем опыте; будучи судьей финала Лёбнера, он был обманут Элботом и Юджином. [25] Кевин Уорвик и Хума Шах сообщили о параллельно-парных тестах Тьюринга. [26]
Конкурс на премию Лёбнера 2009 года проводился 6 сентября 2009 года в Brighton Centre , Брайтон, Великобритания, совместно с конференцией Interspeech 2009. Сумма премии в 2009 году составила 3000 долларов США.
Участниками стали Дэвид Леви , Ролло Карпентер и Мохан Эмбар, которые финишировали в указанном порядке.
Писатель Брайан Кристиан принял участие в конкурсе на премию Лёбнера 2009 года в качестве соучастника и описал свой опыт участия в конкурсе в своей книге «Самый человечный человек» .
Конкурс на премию Лёбнера 2010 года состоялся 23 октября в Калифорнийском государственном университете в Лос-Анджелесе. Конкурс 2010 года был 20-м по счету. Победителем стал Брюс Уилкокс с Suzette.
Конкурс на премию Лёбнера 2011 года состоялся 19 октября в Университете Эксетера , Девон , Великобритания. Сумма приза в 2011 году составила 4000 долларов США.
Четверо финалистов и их чатботы: Брюс Уилкокс (Розетта), Адина Миньогна (Зои), Мохан Эмбар (Чип Вивант) и Рон Ли (Репетитор), которые финишировали в указанном порядке.
В том году к судейскому составу среди юниоров присоединились Джорджия-Мэй Линдфилд, Уильям Данн, Сэм Кит и Кирилл Джердев. Результаты конкурса среди юниоров заметно отличались от основных: первое место разделили чатботы Tutor и Zoe, а третье и четвертое места заняли Чип Вивант и Розетта соответственно.
Конкурс на премию Лёбнера 2012 года состоялся 15 мая в Блетчли-парке в Блетчли , Бакингемшир , Англия, в честь празднования столетия Алана Тьюринга . Сумма приза в 2012 году составила 5000 долларов. Организатором местных мероприятий был Дэвид Леви, который выигрывал премию Лёбнера в 1997 и 2009 годах.
Четверо финалистов и их чатботы: Мохан Эмбар (Чип Вивант), Брюс Уилкокс (Анджела), Дэниел Берк (Адам), М. Аллан (Лингуо), которые финишировали в указанном порядке.
В том же году группа ученых из факультета компьютерных наук Эксетерского университета (Эд Кидвелл, Макс Дюпенуа и Кент МакКлимонт) провела первую в истории прямую веб-трансляцию бесед. [27]
Конкурс на соискание премии Лёбнера 2013 года проводился впервые на острове Ирландия 14 сентября в Ольстерском университете , колледже Маги , Дерри , Северная Ирландия , Великобритания.
Четверо финалистов и их чат-боты: Стив Уорсвик (Mitsuku), доктор Рон С. Ли (Tutor), Брюс Уилкокс (Rose) и Брайан Ригсби (Izar), финишировавшие в указанном порядке.
Судьями были профессор Роджер Шенк (Socratic Arts), профессор Ноэль Шарки ( Шеффилдский университет ), профессор Минхуа (Юнис) Ма ( Университет Хаддерсфилда , затем Университет Глазго ) и профессор Майк Мактир ( Университет Ольстера ).
В конкурсе на премию Junior Loebner Prize 2013 года чат-боты Mitsuku и Tutor разделили первое место, а Rose и Izar заняли 3-е и 4-е места соответственно.
Конкурс на премию Лёбнера 2014 года состоялся в Блетчли-парке, Англия, в субботу 15 ноября 2014 года. Мероприятие транслировалось в прямом эфире Sky News. Приглашенным судьей был телеведущий и ведущий Джеймс Мэй.
После 2 часов судейства победителем была объявлена работа «Роза» Брюса Уилкокса. Брюс получит чек на $4000 и бронзовую медаль. Места распределились следующим образом:
Rose – 1-е место (4000 долларов США и бронзовая медаль); Izar – 2,25-е место (1500 долларов США); Uberbot – 3,25-е место (1000 долларов США); и Mitsuku – 3,5-е место (500 долларов США).
Судьями были доктор Ян Хокинг, писатель и старший преподаватель психологии колледжа Крайст-Черч в Кентербери; доктор Гита Куадри-Мостефауи, преподаватель компьютерных наук и технологий университета Бедфордшира; г-н Джеймс Мэй, телеведущий и радиоведущий; и доктор Пол Сант, декан UCMK университета Бедфордшира.
В 2015 году конкурс на премию Лёбнера снова выиграла «Роза» Брюса Уилкокса. [28]
В состав судей вошли Джейкоб Аарон, обозреватель по физическим наукам в New Scientist; Рори Селлан-Джонс, обозреватель по технологиям в BBC; Бретт Марти, кинорежиссер и фотограф; Ариадна Тампион, писательница.
Премия Лёбнера 2016 года прошла в Блетчли-парке 17 сентября 2016 года. После 2 часов судейства были объявлены окончательные результаты. Места распределились следующим образом:
Премия Лёбнера 2017 года прошла в Блетчли-парке 16 сентября 2017 года. Это был первый конкурс, где использовался новый протокол сообщения за сообщением, а не традиционный протокол по одному символу за раз. Рейтинги были следующими и были объявлены Nao_ (роботом) :
Премия Лёбнера 2018 года прошла в Блетчли-парке 8 сентября 2018 года. Это был последний раз, когда она проводилась в традиционном формате теста Тьюринга, и последний раз в Блетчли-парке. Места распределились следующим образом:
Премия Лёбнера 2019 года проводилась в Университете Суонси с 12 по 15 сентября в рамках более крупной выставки, посвященной креативности в компьютерах. Формат конкурса изменился с традиционного теста Тьюринга с избранными судьями и людьми на 4-дневную сессию тестирования, в которой представители широкой общественности, включая школьников, могли взаимодействовать с ботами, заранее зная, что боты не являются людьми. Вместо обычных 4 финалистов в конкурсе приняли участие семнадцать ботов. Стив Уорсвик выиграл в рекордный 5-й раз с Mitsuku, что позволило ему попасть в Книгу рекордов Гиннесса. [30]
Избранное жюри судей также рассматривало и голосовало за те, которые им понравились больше всего. Рейтинги были следующими:
Самый человекоподобный чат-бот:
Лучший чат-бот в целом
Официальный список победителей. [31]
Беседа с победителем 1992 года; тема: мужчины и женщины