stringtranslate.com

Игра с вычислениями, основанными на действиях человека

Игра с человеческими вычислениями или игра с целью ( GWAP [1] ) — это метод вычислений с человеческими вычислениями , заключающийся в передаче этапов вычислительного процесса людям в развлекательной форме ( геймификация ). [2] [3]

Луис фон Ан первым предложил идею «игр с человеческими алгоритмами» или игр с целью (GWAP), чтобы использовать человеческое время и энергию для решения проблем, с которыми компьютеры пока не могут справиться самостоятельно. Он считает, что человеческий интеллект является важным ресурсом и вкладом в улучшение компьютерной обработки и взаимодействия человека с компьютером. Он утверждает, что игры представляют собой общий механизм использования мозговой мощности для решения открытых вычислительных задач. В этой методике человеческий мозг сравнивается с процессорами в распределенной системе, каждый из которых выполняет небольшую задачу массивного вычисления. Однако людям требуется стимул, чтобы стать частью коллективного вычисления. Онлайн-игры используются как средство поощрения участия в процессе. [3]

Задачи, представленные в этих играх, обычно тривиальны для людей, но сложны для компьютеров. К этим задачам относятся маркировка изображений, расшифровка древних текстов, здравый смысл или действия, основанные на человеческом опыте, и многое другое. Игры с вычислениями, основанные на людях, мотивируют людей через развлечение, а не интерес к решению вычислительных задач. Это делает GWAP более привлекательными для более широкой аудитории. GWAP могут использоваться для создания семантической сети, аннотирования и классификации собранных данных, краудсорсинга общих знаний и улучшения других общих компьютерных процессов. [3] GWAP имеют широкий спектр применения в различных областях, таких как безопасность, компьютерное зрение, доступность Интернета, фильтрация контента для взрослых и поиск в Интернете. [2] В таких приложениях игры с целью снизили стоимость аннотирования данных и повысили уровень человеческого участия.

История

Первая игра с вычислениями на основе человека или игры с целью была создана в 2004 году Луисом фон Аном . Идея заключалась в том, что ESP будет использовать человеческую силу для помощи в маркировке изображений. Игра представляет собой игру с соглашением двух игроков и полагается на то, что игроки придумывают метки для изображений и пытаются угадать, какие метки придумывает партнер. ESP использовала микрозадачи, простые задачи, которые можно быстро решить без необходимости каких-либо учетных данных. [4]

Принципы игрового дизайна

Игра соглашения о выходе

Игры с целью, классифицируемой как игры с соглашением о выходе, являются играми с микрозадачами, в которых игроки объединяются в пары, а случайно назначенные партнеры пытаются сопоставить выход друг с другом, учитывая общий видимый вход. ESP является примером игры с соглашением о выходе.

Игры с инверсией

При наличии изображения ESP Game может использоваться для определения того, какие объекты находятся на изображении, но не может использоваться для определения местоположения объекта на изображении. Информация о местоположении необходима для обучения и тестирования алгоритмов компьютерного зрения, поэтому данных, собранных ESP Game, недостаточно. Таким образом, чтобы справиться с этой проблемой, создатель ESP , фон Ан в 2006 году представил новый тип микрозадачных игр, известных как игры с инверсией. Peekaboom был расширен на основе ESP и заставил игроков ассоциировать метки с определенной областью изображения. В играх с инверсией два игрока случайным образом объединяются в пары. Один назначается описывающим, а другой — угадывающим. Описывающему дается ввод, который угадывающий должен воспроизвести, получив подсказки от описывающего. Например, в Peekaboom описывающий медленно открывает небольшие участки изображения, пока угадывающий правильно не угадает метку, предоставленную описывающему. [5]

Входные соглашения игры

В играх на согласование ввода двум случайно выбранным парам игроков дается ввод, скрытый от другого игрока. Вводы игроков будут либо совпадать, либо отличаться. Цель этих игр состоит в том, чтобы игроки помечали свой ввод таким образом, чтобы другой игрок мог определить, совпадают ли два ввода или нет. В 2008 году Эдит Л. М. Лоу создала игру на согласование ввода под названием TagATune. В этой игре игроки помечают звуковые клипы. В TagATune игроки описывают звуковые клипы и угадывают, совпадает ли звуковой клип их партнера с их собственным, учитывая теги партнера. [6]

Макрозадачные игры

Игры с макрозадачами, в отличие от игр с микрозадачами, содержат сложные проблемы, решение которых обычно оставляют экспертам. В 2008 году Сет Купер создал игру с макрозадачами Foldit . Идея заключалась в том, что игроки должны были попытаться сложить трехмерное представление белка. Эта задача была сложной для полной автоматизации компьютерами. Определение биологически релевантной нативной конформации белка является сложной вычислительной задачей, учитывая очень большой размер пространства поиска. Благодаря геймификации и внедрению удобных для пользователя версий алгоритмов игроки могут выполнять эту сложную задачу без особых знаний биологии. [7] [8] [9]

Примеры

Апетопия

Игра Apetopia помогает определить воспринимаемые цветовые различия. Выбор игроков используется для моделирования лучших цветовых метрик. [10] Игра Apetopia , запущенная Берлинским университетом , разработана для того, чтобы помочь ученым понять воспринимаемые цветовые различия. Эта игра предназначена для предоставления данных о том, как оттенки цвета воспринимаются людьми, чтобы смоделировать лучшие цветовые параметры.

Артиго

Artigo [11] — это веб-платформа, в настоящее время предлагающая шесть игр с аннотациями произведений искусства, а также поисковую систему произведений искусства на английском, французском и немецком языках. Три игры Artigo, игра ARTigo , ARTigo Taboo и TagATag , являются вариациями [12] игры ESP Луиса фон Ана (позже Google Image Labeler ). Три другие игры платформы Artigo, Karido , [13] Artigo-Quiz и Combino , были задуманы таким образом, чтобы дополнять данные, собранные тремя вышеупомянутыми вариациями игры ESP. [14] [15] Поисковая система Artigo основана на оригинальном тензорном латентном семантическом анализе. [15] [16]

По состоянию на сентябрь 2013 года Artigo имел более 30 000 (изображений) произведений искусства, в основном из Европы и « длинного 19 века », из архива изображений Promotheus, [17] Рейксмузеума , Амстердам, Нидерланды, Государственной художественной галереи Карлсруэ , Карлсруэ, Германия, Университетского музея современного искусства , кампуса Массачусетского университета в Амхерсте, США. С 2008 по 2013 год Artigo собрал более 7 миллионов тегов (в основном на немецком языке), 180 000 игроков (около десятой части из которых зарегистрированы), и в среднем 150 игроков в день. [18]

Artigo — это совместный исследовательский проект историков искусства и специалистов по информатике, направленный как на разработку поисковой системы по произведениям искусства, так и на анализ данных в области истории искусства.

игра ESP

Первым примером была игра ESP , попытка человеческих вычислений, изначально задуманная Луисом фон Аном из Университета Карнеги-Меллона , которая маркирует изображения. Чтобы сделать это увлекательным занятием для людей, два игрока пытаются присвоить изображению одинаковые метки. Игра записывает результаты матчей в виде меток изображений, и игроки наслаждаются схваткой из-за ее соревновательной и временной природы. Чтобы гарантировать, что люди сделают все возможное, чтобы точно маркировать изображения, игра требует, чтобы два человека (выбранные случайным образом и неизвестные друг другу), у которых есть только изображение, выбрали одно и то же слово в качестве метки изображения. Это препятствует вандализму , поскольку это было бы саморазрушительной стратегией . Игра ESP — это игра с вычислениями, основанная на людях, разработанная для решения проблемы создания сложных метаданных . Идея игры заключается в том, чтобы использовать вычислительную мощность людей для выполнения задачи, которую компьютеры не могут (первоначально распознавание изображений ), упаковав задачу в игру . Google купил лицензию на создание собственной версии игры (Google Image Labeler) в 2006 году, чтобы улучшить результаты поиска для своих онлайн-изображений. [19] Лицензия на данные, приобретенные Ahn's ESP Game, или версия Google, не ясна. [ необходимо разъяснение ] Версия Google была закрыта 16 сентября 2011 года в рамках закрытия Google Labs в сентябре 2011 года.

PeekaBoom

PeekaBoom — это веб-игра, которая помогает компьютерам находить объекты на изображениях, используя человеческий игровой процесс для сбора ценных метаданных . Люди понимают и способны анализировать повседневные изображения с минимальными усилиями (какие объекты находятся на изображении, их местоположение, а также информацию о фоне и переднем плане), в то время как у компьютеров возникают проблемы с этими основными визуальными задачами. [20] Peekaboom состоит из двух основных компонентов: «Peek» и «Boom». Два случайных игрока из Интернета участвуют, играя разные роли в игре. Когда один игрок — Peek, другой — Boom. Peek начинает с пустого экрана, в то время как Boom начинает с изображения и связанного с ним слова. Цель игры — Boom показать Peek части изображения. Тем временем Peek может угадывать связанные слова с показанными частями изображения. Когда Peek угадывает слова, которые находятся ближе к изображению, Boom может указать, являются ли догадки Peek горячими или холодными. Когда Peek угадает правильно, игроки получают очки, а затем меняются ролями. [5]

ЭтеРНК

EteRNA — это игра, в которой игроки пытаются спроектировать последовательности РНК , которые складываются в заданную конфигурацию. Самые разные решения игроков, часто небиологов, оцениваются для улучшения компьютерных моделей, предсказывающих сворачивание РНК. Некоторые проекты фактически синтезируются для оценки фактической динамики сворачивания и прямого сравнения с компьютерными моделями.

Проволока

Eyewire — это игра по поиску коннектома сетчатки. [ 21]

Сложить

Геймплей в Foldit

Краудсорсинг был геймифицирован в таких играх, как Foldit , игра, разработанная Вашингтонским университетом , в которой игроки соревнуются за то, чтобы манипулировать белками в более эффективные структуры. Статья 2010 года в научном журнале Nature приписывала 57 000 игроков Foldit предоставление полезных результатов, которые соответствовали или превосходили алгоритмически вычисленные решения. [22]

Foldit , хотя также является GWAP, имеет другой тип метода для подключения к коллективному человеческому мозгу. Эта игра бросает вызов игрокам, чтобы использовать их человеческую интуицию трехмерного пространства, чтобы помочь с алгоритмами сворачивания белков. В отличие от игры ESP, которая фокусируется на результатах, которые могут предоставить люди, Foldit пытается понять, как люди подходят к сложным трехмерным объектам. «Наблюдая», как люди играют в игру, исследователи надеются улучшить свои собственные компьютерные программы. Вместо того, чтобы просто выполнять задачи, которые компьютеры не могут выполнить, этот GWAP просит людей помочь улучшить текущие машинные алгоритмы.

Угадай корреляцию

Guess the Correlation требует от пользователя оценить коэффициент корреляции диаграмм рассеяния.

Guess the Correlation — это игра, цель которой — заставить игроков угадать истинный коэффициент корреляции Пирсона в диаграммах рассеяния . Собранные данные используются для изучения того, какие особенности диаграмм рассеяния искажают человеческое восприятие истинной корреляции. Игра была разработана Омаром Вагихом в Европейском институте биоинформатики . [23] [24]

JeuxDeMots

JeuxDeMots  [fr] [25] — это игра, направленная на построение большой семантической сети . Людям предлагается связать термины в соответствии с некоторыми инструкциями, которые предоставляются для данного слова. Французская версия созданной сети содержит на данный момент более 350 миллионов связей между 5 миллионами лексических единиц (март 2021 г.). Проект был разработан учеными Лаборатории информатики, робототехники и микроэлектроники Монпелье / Университета Монпелье 2 .

Нанокрафт

Nanocrafter — это игра о сборке фрагментов ДНК в структуры с функциональными свойствами, такие как логические схемы , для решения задач. [26] Как и Foldit, она разработана в Вашингтонском университете .

OnToGalaxy

OnToGalaxy — игра, в которой игроки помогают приобретать здравые знания о словах. Реализованная как космический шутер, OnToGalaxy по своему дизайну сильно отличается от других игр с человеческими вычислениями. [27] Игра была разработана Маркусом Краузе в Бременском университете .

Детективы фраз

Phrase Detectives — это «игра-аннотация», ориентированная на любителей литературы, грамматики и языка. Она позволяет пользователям указывать связи между словами и фразами, чтобы создать ресурс, богатый лингвистической информацией. Игроки награждаются очками за свой вклад и попадают в таблицу лидеров. [28] Она была разработана учеными Джоном Чемберленом, Массимо Поэсио и Удо Крушвицем из Университета Эссекса .

Фило

Phylo [29] позволяет геймерам вносить вклад в общее благо, пытаясь расшифровать код генетических заболеваний. Играя в игру и выравнивая цветные квадраты, вы помогаете научному сообществу приблизиться на шаг к решению извечной проблемы множественного выравнивания последовательностей . Проблема множественного выравнивания последовательностей слишком велика для компьютеров. Цель состоит в том, чтобы понять, как и где функция организма закодирована в ДНК. Игра объясняет, что «выравнивание последовательностей — это способ упорядочивания последовательностей ДНК, РНК или белка для определения областей сходства».

Играйте, чтобы вылечить: гены в космосе

Play to Cure: Genes in Space — мобильная игра, которая использует коллективные усилия игроков для анализа реальных генетических данных, чтобы помочь в исследовании рака. [30]

Квантовые движения

Quantum Moves — это игра на ловкость и решение пространственных задач, в которой игроки перемещают скользкие частицы по квантовому пространству. Решения игроков на разных уровнях используются для программирования и тонкой настройки настоящего квантового компьютера в Университете Орхуса . [31] Игра была впервые разработана как графический интерфейс для квантового моделирования и образования в 2012 году. В 2013 году она была выпущена для публики в удобной для пользователя форме и постоянно обновлялась в течение 2014 года.

Изменить шансы

Reverse The Odds — это мобильная игра, которая помогает исследователям узнать об анализе рака. Включая анализ данных в Reverse The Odds , исследователи могут получить помощь тысяч игроков, чтобы узнать больше о различных видах рака, включая рак головы и шеи, легких и мочевого пузыря. [32]

Тренер роботов

Robot Trainer — это игра, цель которой — сбор знаний здравого смысла. Игрок берет на себя роль учителя. Цель игры — обучить робота, который будет путешествовать в глубоком космосе и нести с собой значительный объем человеческих знаний, чтобы он мог обучать других людей в будущем, далеко от Земли. В игре три уровня. На каждом уровне игрок получает определенное задание, например, создание правил знаний для ответа на вопросы, разрешение конфликтов и проверка правил знаний других игроков. Игроки получают вознаграждение за отправку правил знаний, которые помогают роботу ответить на вопрос и соответствуют вкладу их коллег-учителей. [33]

Поиски морского героя

Sea Hero Quest — игра для iOS и Android, которая помогает продвигать исследования в области деменции. [34]

Сморбол

В браузерной игре Smorball [ 35] игрокам предлагается вводить слова, которые они видят, как можно быстрее и точнее, чтобы помочь своей команде одержать победу в вымышленном виде спорта Smorball. Игра представляет игрокам фразы из отсканированных страниц Библиотеки наследия биоразнообразия. После проверки слова, которые вводят игроки, отправляются в библиотеки, хранящие соответствующие страницы, что позволяет осуществлять поиск и извлечение данных по этим страницам и в конечном итоге делает историческую литературу более пригодной для использования учреждениями, учеными, педагогами и общественностью. Игра была разработана Tiltfactor Lab .

Поездные роботы

Train Robots — это игра-аннотация, похожая на Phrase Detectives. Игрокам показывают пары изображений «до/после» руки робота и блоков на доске, и просят ввести команды, чтобы робот перешел из первой конфигурации во вторую. Игра собирает данные естественного языка для обучения лингвистических и роботизированных систем обработки. [36]

Игра Викиданных

Игра Wikidata представляет собой игровой подход, позволяющий пользователям помогать решать вопросы, касающиеся людей, изображений и т. д., и таким образом автоматически редактировать соответствующие элементы данных в Wikidata, структурированном хранилище знаний, поддерживающем Wikipedia и Wikimedia Commons, другие проекты Wikimedia и многое другое. [37] [38]

ZombiLingo

ZombiLingo — французская игра, в которой игрокам предлагается найти правильную голову (слово или выражение), чтобы получить мозги и стать все более и более деградировавшим зомби. Во время игры они фактически комментируют синтаксические отношения во французских корпусах. [39] [40] Она была разработана и разработана исследователями из LORIA и Университета Париж-Сорбонна . [41]

TagATune

Хотя существует множество игр, имеющих целью работу с визуальными данными, лишь немногие пытаются маркировать аудиоданные. Аннотирование аудиоданных может использоваться для поиска и индексации музыкальных и аудиобаз данных, а также для генерации обучающих данных для машинного обучения . Однако в настоящее время ручная маркировка данных является дорогостоящей. Таким образом, один из способов снизить стоимость — создать игру с целью маркировки аудиоданных. [42] TagATune — это основанная на аудио онлайн-игра, в которой игроки-люди маркируют и описывают описания звуков и музыки. В TagATune играют случайно выбранные пары партнеров. Партнерам дается три минуты, чтобы придумать согласованные описания для как можно большего количества звуков. В каждом раунде звук случайным образом выбирается из базы данных и представляется партнерам. Затем описание становится тегом, который можно использовать для поиска, когда оно согласовано достаточным количеством людей. После первого раунда раунд сравнения представляет мелодию и просит игроков сравнить ее с одной из двух других мелодий того же типа. [6]

MajorMiner

MajorMiner — это онлайн-игра, в которой игроки слушают 10 секунд случайно выбранного звука, а затем описывают звук с помощью тегов. Если один из тегов, выбранных игроками, совпадает с тегом другого игрока, каждый игрок получает одно очко. Если это был первый раз, когда этот тег использовался для этого конкретного звука, игрок получает два очка. [43] Цель состоит в том, чтобы использовать ввод игрока для исследования автоматической маркировки музыки и рекомендаций на основе самого звука.

Викиспидия

Игра типа wikiracing , в которой игрокам даются две статьи Википедии (стартовая и целевая) и им предлагается найти путь от стартовой статьи до целевой статьи, исключительно нажимая на гиперссылки, встречающиеся по пути. Данные о пути, собранные в игре, проливают свет на то, как люди рассуждают об энциклопедических знаниях и как они взаимодействуют со сложными сетями. [44]

Смотрите также

Ссылки

  1. Луис фон Ан (13 мая 2008 г.). «Блог GWAP: май 2008 г.». Блог.gwap.com . Проверено 9 марта 2015 г.
  2. ^ ab Luis von Ahn (июнь 2006 г.). «Игры с целью» (PDF) . Компьютер : 96–98.
  3. ^ abc Луис фон Ан и Лора Даббиш (август 2008 г.). «Разработка игр с целью» (PDF) . Сообщения ACM . 51 (8/08): 57. doi : 10.1145/1378704.1378719 . S2CID  11959487.
  4. ^ Von Ahn, L., & Dabbish, L. (2004, апрель). Маркировка изображений с помощью компьютерной игры. В трудах конференции SIGCHI по человеческим факторам в вычислительных системах (стр. 319-326). ACM.
  5. ^ ab Von Ahn, L., Liu, R., & Blum, M. (2006, апрель). Peekaboom: игра для поиска объектов на изображениях. В трудах конференции SIGCHI по человеческому фактору в вычислительных системах (стр. 55-64). ACM.
  6. ^ Аб Лоу, Э.Л., Фон Ан, Л., Данненберг, Р.Б., и Кроуфорд, М. (2007, сентябрь). TagATune: игра для музыки и звуковых аннотаций. В ИСМИР (т. 3, стр. 2).
  7. ^ Хатиб, Ф., Купер, С., Тайка, М. Д., Сюй, К., Македон, И., Попович, З., ... и Плееры, Ф. (2011). Открытие алгоритмов игроками в игру «сворачивание белка». Труды Национальной академии наук, 108(47), 18949-18953.
  8. ^ Лафуркад, М., Жубер, А. и Ле Брун, Н. (2015). Игры с целью (GWAPS). John Wiley & Sons.
  9. ^ Фон Ан, Л. и Даббиш, Л. (2008). Разработка игр с целью. Communications of the ACM, 51(8), 58-67.
  10. ^ "★ ★ ★ APETOPIA ★ ★ ★". colors.htw-berlin.de . Получено 1 июля 2019 г. .
  11. ^ "ARTigo - Social Image Tagging". Архивировано из оригинала 1 июня 2016 года . Получено 18 января 2020 года .
  12. ^ Франсуа Бри и Кристоф Визер. Squaring and Scripting the ESP Game: Trimming a GWAP to Deep Semantics. Труды Международной конференции по разработке и применению серьезных игр (SGDA), Бремен, Германия, 26–29 сентября 2012 г.
  13. ^ Штайнмайер, Бартоломеус; Визер, Кристоф; Кнайсль, Фабиан; Брай, Франсуа. "Karido: A GWAP for Telling Artworks Apart" (PDF) . Proc. 16-й Международной конференции по компьютерным играм (CGAMES2011), Луисвилл, Кентукки, США, 27–30 июля 2011 г. Получено 2 января 2016 г.(Премия за лучшую статью)
  14. ^ Кристоф Визер, Франсуа Бри, Александр Берар и Ришар Лагранж. ARTigo: Создание поисковой системы по произведениям искусства с помощью игр и латентного семантического анализа высшего порядка. Труды Disco 2013, семинара по человеческим вычислениям и машинному обучению в играх на Международной конференции по человеческим вычислениям (HComp), Палм-Спрингс, Калифорния, США, 6–9 ноября 2013 г.
  15. ^ ab Кристоф Визер. Создание семантической поисковой системы с помощью игр и краудсорсинга. Докторская диссертация, Институт информатики, Мюнхенский университет, 2014
  16. ^ Филипп Шах, Кристоф Визер и Франсуа Бри Параллельный SVD высшего порядка для рекомендаций тегов. Труды Международной конференции WWW/Internet 2012, Мадрид, Испания, 18-21 октября 2012 г.
  17. ^ «Архив изображений Прометея: высококачественные изображения из областей искусства, культуры и истории».
  18. ^ "Блог Artigo (на немецком языке)" . Архивировано из оригинала 24 декабря 2016 года . Проверено 21 ноября 2014 г.
  19. ^ "Решение проблемы веб-изображения". bbc. 2008-05-14. Получено 2008-12-14.
  20. ^ . Барнард, К. и Форсайт, Д.А. Изучение семантики слов и изображений. Международная конференция по компьютерному зрению, 2001 г.
  21. ^ "Explore | EyeWire". eyewire.org . Получено 20 мая 2023 г. .
  22. ^ Джон Маркофф (10 августа 2010 г.). «В видеоигре, преодоление сложностей сворачивания белков». The New York Times . Получено 12 февраля 2013 г.
  23. Эд Йонг (30 марта 2016 г.). «8-битная игра, которая делает статистику затягивающей». The Atlantic . Получено 30 марта 2016 г.
  24. ^ Омар Вагих (10 декабря 2015 г.). "Угадай корреляцию" . Получено 26 июля 2017 г.
  25. ^ "JeuxDeMots – Игра для сбора слов". www.lirmm.fr. 15 июня 2014 г. Получено 22 июня 2014 г.
  26. ^ "Science | Nanocrafter". nanocrafter.org . Архивировано из оригинала 22 декабря 2015 . Получено 15 декабря 2015 .
  27. ^ "OnToGalaxy". dm.tzi.de . Получено 25 января 2012 г. .
  28. ^ "Phrase Detectives – The AnaWiki annotation game". Anawiki.essex.ac.uk. 9 сентября 2011 г. Получено 22 сентября 2011 г.
  29. ^ Гроссман, Лиза (30 ноября 2010 г.). «Компьютерная игра делает вас ученым-генетиком». Wired . Получено 2 января 2016 г.
  30. ^ "Play to Cure: Genes in Space". cancerresearchuk.org . Получено 26 июня 2015 г. .
  31. ^ "Do Science at Home". Кафедра физики и астрономии, Орхусский университет . Получено 13 августа 2013 г.
  32. ^ "Гражданская наука". 25 февраля 2016 г.
  33. ^ "Робот". ouc.ac.cy . [ мертвая ссылка ]
  34. ^ "Sea Hero Quest". Alzheimer's Research UK . Получено 6 октября 2021 г.
  35. ^ "What IF HQ приобрела SmorBallGame - What If? HQ". 11 марта 2023 г. Получено 20 мая 2023 г.
  36. ^ "Train Robots – Robot Commands Annotation Game". 30 августа 2013 г. Архивировано из оригинала 4 октября 2013 г. Получено 5 октября 2013 г.
  37. Магнус Манске (20 мая 2014 г.). «The Game Is On» . Получено 3 января 2015 г.
  38. Жерар Мейссен (26 мая 2014 г.). «#Викиданные — игра» . Проверено 3 января 2015 г.
  39. ^ "ZombiLingo". www.loria.fr. 21 марта 2015 г. Получено 21 марта 2015 г.
  40. ^ "Актуальные данные и события | Инрия" .
  41. ^ Карен Форт и др. (апрель 2014 г.). «Создание Zombilingo , игры с целью аннотации синтаксиса зависимостей». Труды Первого международного семинара по геймификации для поиска информации . стр. 2–6. doi :10.1145/2594776.2594777. ISBN 9781450328920. S2CID  17420855.
  42. ^ Э. Уолд, Т. Блюм и Д. Кейслар. Классификация, поиск и извлечение аудио на основе контента. IEEE MultiMedia, 3:27–36, 1996.
  43. ^ "Введение". majorminer.org . Архивировано из оригинала 15 января 2019 . Получено 12 февраля 2019 .
  44. ^ "Wikispeedia". dlab.epfl.ch . Получено 20 мая 2023 г. .

Внешние ссылки