stringtranslate.com

Amazon Механический Турок

Amazon Mechanical Turk ( MTurk ) — это краудсорсинговый веб-сайт, с помощью которого компании могут нанимать удаленно работающих «краудворкеров» для выполнения отдельных задач по требованию, которые компьютеры в настоящее время не могут выполнить по такой же экономичной цене. Он работает под управлением Amazon Web Services и принадлежит Amazon . [1] Работодатели, известные как заказчики, размещают задания, известные как задачи человеческого интеллекта (HIT), такие как определение определенного контента на изображении или видео, написание описаний продуктов или ответы на вопросы опроса. Работники, в просторечии известные как туркеры или краудворкеры , просматривают существующие задания и выполняют их в обмен на плату, установленную заказчиком. Для размещения заданий заказчики используют открытый интерфейс прикладного программирования (API) или более ограниченный сайт MTurk Requester. [2] По состоянию на апрель 2019 года заказчики могли зарегистрироваться из 49 одобренных стран. [3]

История

Сервис был задуман Венки Харинарайаном в патентном раскрытии США в 2001 году. [4] Amazon ввел термин «искусственный интеллект» для процессов, которые передают некоторые части компьютерной программы на аутсорсинг людям, для тех задач, которые люди выполняют гораздо быстрее, чем компьютеры. Утверждается [ кем? ] , что Джефф Безос был ответственным за предложение о разработке Amazon's Mechanical Turk для реализации этого процесса. [5]

Название Mechanical Turk было навеяно « The Turk », шахматным автоматом XVIII века, созданным Вольфгангом фон Кемпеленом , который гастролировал по Европе и победил Наполеона Бонапарта и Бенджамина Франклина . Позже выяснилось, что эта «машина» была не автоматом, а человеком -шахматистом, спрятанным в шкафу под доской и управляющим движениями гуманоидного манекена. Аналогично, онлайн-сервис Mechanical Turk использует удаленный человеческий труд, скрытый за компьютерным интерфейсом, чтобы помочь работодателям выполнять задачи, которые невозможны с использованием настоящей машины.

MTurk был запущен публично 2 ноября 2005 года. Его пользовательская база быстро росла. В начале-середине ноября 2005 года существовали десятки тысяч заданий, все из которых были загружены в систему самой Amazon для некоторых ее внутренних задач, требующих человеческого интеллекта. Типы HIT расширились, включив транскрибирование, рейтинг, тегирование изображений, опросы и письмо.

В марте 2007 года сообщалось о более чем 100 000 работников в более чем 100 странах. [6] Это число увеличилось до более чем 500 000 зарегистрированных работников из более чем 190 стран в январе 2011 года. [7] В том же году Techlist опубликовал интерактивную карту, указывающую местонахождение 50 000 своих работников MTurk по всему миру. [8] К 2018 году исследования показали, что, хотя на платформе в любое время было доступно более 100 000 работников, только около 2 000 из них активно работали. [9]

Обзор

Пользователь Mechanical Turk может быть либо «Работником» (подрядчиком), либо «Запросчиком» (работодателем). Работники имеют доступ к панели, которая отображает три раздела: общий доход, статус HIT и итоговые значения HIT. Работники устанавливают свои собственные часы и не обязаны принимать какие-либо конкретные задания.

Amazon классифицирует Workers как подрядчиков, а не как сотрудников, и не платит налоги на заработную плату. Классификация Workers как подрядчиков позволяет Amazon избегать таких вещей, как минимальная заработная плата , сверхурочные и компенсация работникам — это обычная практика среди платформ «экономики свободного заработка». Работники по закону обязаны сообщать о своих доходах как о доходах от самозанятости.

В 2013 году средняя заработная плата за выполнение нескольких микрозадач, если они выполнялись быстро, составляла около одного доллара в час, при этом каждая задача в среднем стоила несколько центов. [10] Однако подсчет среднего почасового заработка людей на сайте микрозадач чрезвычайно сложен, и несколько источников данных показывают средний почасовой заработок в диапазоне от 5 до 9 долларов в час [11] [12] [13] [14] среди значительного числа работников, в то время как наиболее опытные, активные и квалифицированные работники могут зарабатывать более 20 долларов в час. [15]

Работники могут иметь почтовый адрес в любой точке мира. Оплата за выполнение задач может быть произведена на Amazon.com с помощью подарочного сертификата (подарочные сертификаты являются единственным вариантом оплаты, доступным для международных работников, за исключением Индии) или может быть переведена на банковский счет работника в США.

Заявители могут попросить Worker выполнить квалификацию, прежде чем приступить к выполнению задачи, и они могут установить тест, предназначенный для проверки квалификации. Они также могут принять или отклонить результат, отправленный Worker, что влияет на репутацию Worker. По состоянию на апрель 2019 года Requesters платили Amazon минимальную комиссию в размере 20% от цены успешно выполненных работ, с увеличенными суммами за дополнительные услуги [ необходимо разъяснение ] . [6] Requesters могут использовать API Amazon Mechanical Turk для программной интеграции результатов работы непосредственно в свои бизнес-процессы и системы. Когда работодатели настраивают работу, они должны указать

а также конкретные детали работы, которую они хотят выполнить.

Расположение туркеров

С момента создания платформы работники в основном находились в Соединенных Штатах [16], а их демографические показатели в целом были схожи с общей численностью интернет-пользователей в США [17]. В пределах США работники довольно равномерно распределены по штатам, пропорционально доле каждого штата в населении США. [18] По состоянию на 2019 год от 15 до 30 тысяч человек в США завершали как минимум один HIT каждый месяц, и около 4500 новых людей присоединялись к MTurk каждый месяц. [19]

Денежные выплаты для индийских рабочих были введены в 2010 году, что обновило демографические данные рабочих, которые, однако, в основном оставались в Соединенных Штатах. [20] Веб-сайт, показывающий демографические данные рабочих в мае 2015 года, показал, что 80% рабочих находились в Соединенных Штатах, а оставшиеся 20% находились в других странах мира, большинство из которых находились в Индии. [21] В мае 2019 года приблизительно 60% находились в США, 40% в других странах (примерно 30% в Индии). [22] В начале 2023 года около 90% рабочих были из США и около половины оставшихся из Индии. [23]

Использует

Исследования с участием людей

С 2010 года многочисленные исследователи изучали жизнеспособность Mechanical Turk для набора субъектов для экспериментов в области социальных наук. Исследователи в целом обнаружили, что хотя выборки респондентов, полученные через Mechanical Turk, не полностью соответствуют всем соответствующим характеристикам населения США, они также не являются дико нерепрезентативными. [24] [25] В результате ежегодно публикуются тысячи статей, которые опираются на данные, полученные от работников Mechanical Turk, в том числе сотни в ведущих академических журналах.

Проблема использования MTurk для исследований с участием людей заключается в поддержании качества данных. Исследование, опубликованное в 2021 году, показало, что типы подходов к контролю качества, используемые исследователями (например, проверка на наличие ботов, пользователей VPN или работников, готовых предоставить нечестные ответы), могут существенно влиять на результаты опроса. Они продемонстрировали это посредством воздействия на три распространенных инструмента скрининга поведенческого/психического здоровья. [26] Несмотря на то, что управление качеством данных требует работы со стороны исследователей, существует большой объем исследований, показывающих, как собирать высококачественные данные с помощью MTurk. [27] Стоимость использования MTurk значительно ниже, чем многих других способов проведения опросов, поэтому многие исследователи продолжают его использовать.

Общее мнение исследователей заключается в том, что эта служба лучше всего подходит для набора разнообразной выборки; она менее успешна в исследованиях, требующих более точно определенных групп населения или репрезентативной выборки населения в целом. [28] Было опубликовано много статей о демографии населения MTurk. [18] [29] [30] Работники MTurk, как правило, моложе, более образованны, более либеральны и немного менее богаты, чем население США в целом. [31]

Машинное обучение

Алгоритмы контролируемого машинного обучения требуют больших объемов данных, аннотированных человеком, для успешного обучения. Исследователи машинного обучения наняли рабочих через Mechanical Turk для создания наборов данных, таких как SQuAD, набор данных с ответами на вопросы . [32]

Поиски пропавших без вести

С 2007 года сервис использовался для поиска известных пропавших людей. Впервые это использование было предложено во время поиска Джеймса Кима , но его тело было найдено до того, как был достигнут какой-либо технический прогресс. Тем летом на своей яхте исчез компьютерный ученый Джим Грей , а Вернер Фогельс из Amazon , его личный друг, договорился с DigitalGlobe , который предоставляет спутниковые данные для Google Maps и Google Earth , чтобы разместить недавние фотографии островов Фараллон на Mechanical Turk. Статья на первой странице Digg привлекла 12 000 поисковиков, которые работали со специалистами по обработке изображений над теми же данными. Поиск оказался безуспешным. [33]

В сентябре 2007 года аналогичная схема была повторена при поиске летчика Стива Фоссета . Спутниковые данные были разделены на секции по 85 квадратных метров (910 квадратных футов), и пользователям Mechanical Turk было предложено помечать изображения с «посторонними объектами», которые могли быть местом крушения или другими доказательствами, которые следует изучить более внимательно. [34] Этот поиск также не увенчался успехом. Спутниковые снимки в основном были в радиусе 50 миль, [35] но место крушения в конечном итоге было найдено туристами примерно через год, в 65 милях. [36]

Художественные произведения

MTurk также использовался как инструмент для художественного творчества. Одним из первых художников, работавших с Mechanical Turk, был Xtine Burrough с The Mechanical Olympics (2008), [37] [38] Endless Om (2015) и Mediations on Digital Labor (2015). [39] Другой работой была Ten Thousand Cents (2008) художника Аарона Коблина. [ необходимо дополнительное объяснение ]

Стороннее программирование

Программисты разработали расширения браузера и скрипты, призванные упростить процесс выполнения заданий. Amazon заявил, что они не одобряют скрипты, которые полностью автоматизируют процесс и исключают человеческий фактор. Это связано с опасениями, что процесс выполнения задачи — например, ответ на опрос — может быть сфальсифицирован случайными ответами, а полученные собранные данные могут оказаться бесполезными. [40] Аккаунты, использующие так называемых автоматизированных ботов, были запрещены. Существуют сервисы, которые расширяют возможности MTurk. [ требуется разъяснение ]

API

Amazon предоставляет интерфейс прикладного программирования (API) для системы MTurk. API MTurk позволяет программисту отправлять задания, получать выполненную работу и одобрять или отклонять эту работу. [41] В 2017 году Amazon запустила поддержку AWS Software Development Kits (SDK), что позволило сделать девять новых SDK доступными для пользователей MTurk. [ важность? ] MTurk доступен через API из следующих языков: Python, JavaScript, Java, .NET, Go, Ruby, PHP или C++. [42] Веб-сайты и веб-сервисы могут использовать API для интеграции работы MTurk в другие веб-приложения, предоставляя пользователям альтернативы интерфейсу, который Amazon создал для этих функций.

Примеры использования

Обработка фото/видео

Amazon Mechanical Turk предоставляет платформу для обработки изображений, что является задачей, хорошо подходящей для человеческого интеллекта. Заявители создали задачи, в которых работникам предлагается маркировать объекты, найденные на изображении, выбирать наиболее релевантную картинку в группе картинок, проверять неприемлемый контент, классифицировать объекты на спутниковых снимках или оцифровывать текст с изображений, таких как отсканированные формы, заполненные вручную. [43]

Очистка/проверка данных

Компании с большими онлайн-каталогами используют Mechanical Turk для выявления дубликатов и проверки данных записей товаров. Например: удаление дубликатов в списках справочника желтых страниц, проверка данных ресторана (например, номер телефона и часы работы) и поиск контактной информации на веб-страницах (например, имя автора и адрес электронной почты). [10] [43]

Сбор информации

Диверсификация и масштаб персонала Mechanical Turk позволяют собирать информацию в больших масштабах, что было бы сложно вне крауд-платформы. Mechanical Turk позволяет запрашивающим собирать большое количество ответов на различные типы опросов, от базовых демографических до академических исследований. Другие варианты использования включают написание комментариев, описаний и записей в блогах на веб-сайтах и ​​поиск элементов данных или определенных полей в крупных правительственных и юридических документах. [43]

Обработка данных

Компании используют краудфандинговую работу Mechanical Turk для понимания и реагирования на различные типы данных. Обычные применения включают редактирование и транскрипцию подкастов, перевод и сопоставление результатов поисковой системы. [10] [43]

Валидность исследования

Валидность исследования, проведенного с участием рабочей группы Mechanical Turk, уже давно является предметом споров среди экспертов. [44] Во многом это связано с тем, что вопросы валидности [45] сложны: они включают не только вопросы о том, были ли методы исследования подходящими и было ли исследование хорошо выполнено, но и вопросы о цели проекта, о том, как исследователи использовали MTurk, кто был выбран и какие выводы были сделаны.

Большинство экспертов сходятся во мнении, что MTurk лучше подходит для некоторых типов исследований, чем для других. MTurk, по-видимому, хорошо подходит для вопросов, которые стремятся понять, связаны ли две или более вещей друг с другом (так называемые корреляционные исследования; например, счастливые люди более здоровы?), и вопросов, которые пытаются показать, что одна вещь вызывает другую (экспериментальные исследования; например, счастье делает людей более здоровыми). К счастью, эти категории охватывают большую часть исследований, проводимых учеными-бихевиористами, и большинство корреляционных и экспериментальных результатов, обнаруженных в национальных репрезентативных выборках, воспроизводятся на MTurk. [46]

Тип исследования, который не очень подходит для MTurk, часто называют «описательным исследованием». Описательное исследование стремится описать, как или что люди думают, чувствуют или делают; одним из примеров является опрос общественного мнения. MTurk не очень подходит для такого исследования, потому что он не выбирает репрезентативную выборку из общей популяции. Вместо этого MTurk — это невероятностная, [ жаргон ] удобная выборка. Описательное исследование лучше всего проводить с вероятностной, репрезентативной выборкой популяции, которую исследователи хотят понять. По сравнению с общей популяцией, люди на MTurk моложе, более образованны, более либеральны и менее религиозны. [47] [18] [30]

Трудовые вопросы

Mechanical Turk подвергся критике со стороны журналистов и активистов за его взаимодействие с рабочей силой и ее использование. Ученый-компьютерщик Джарон Ланье отметил, что дизайн Mechanical Turk «позволяет вам думать о людях как о компонентах программного обеспечения» таким образом, что это вызывает «ощущение магии, как будто вы можете просто вытащить результаты из облака по невероятно низкой цене». [48] Похожая точка зрения высказывается в книге Ghostwork Мэри Л. Грей и Сиддхарта Сури. [49] [ важность? ]

Критики MTurk утверждают, что рабочие вынуждены работать на сайте из-за нестабильных экономических условий, а затем эксплуатируются заказчиками с низкой заработной платой и отсутствием власти, когда возникают споры. Статья журналистки Аланы Семуэлс «Интернет открывает новый вид плохо оплачиваемого ада» в The Atlantic является типичной для такой критики MTurk. [50]

Некоторые [ чьи? ] научные работы получили результаты, которые поддерживают или служат основой для таких распространенных критических замечаний, [51] но другие противоречат им. [52] В недавнем академическом комментарии утверждалось, что участники исследования на таких сайтах, как MTurk, должны быть четко предупреждены об обстоятельствах, при которых им впоследствии может быть отказано в оплате по этическим соображениям, [53] даже если такие заявления не могут снизить уровень небрежных ответов. [54]

В статье, опубликованной командой CloudResearch [14], показано, что только около 7% людей на MTurk рассматривают выполнение HIT как что-то похожее на постоянную работу. Большинство людей сообщают, что MTurk — это способ заработать деньги в свободное время или в качестве подработки. В 2019 году типичный работник тратил от пяти до восьми часов в неделю и зарабатывал около 7 долларов в час. Работники, включенные в выборку, не сообщали о жестоком обращении со стороны запрашивающих лиц [ необходимо разъяснение ] ; они сообщили, что доверяют запрашивающим лицам больше, чем работодателям за пределами MTurk. Аналогичные выводы были представлены в обзоре MTurk организацией Fair Crowd Work, коллективом крауд-работников и профсоюзов. [55] [ ненадежный источник? ]

Денежная компенсация

Минимальная оплата, которую Amazon позволяет за задание, составляет один цент. Поскольку задания обычно простые и повторяющиеся, большинство заданий оплачиваются всего в несколько центов, [56] но на сайте есть и хорошо оплачиваемые задания.

Многие критические замечания в адрес MTurk связаны с тем, что большинство заданий предлагают низкую заработную плату. Кроме того, рабочие считаются независимыми подрядчиками, а не сотрудниками. Независимые подрядчики не защищены Законом о справедливых трудовых стандартах или другим законодательством, защищающим права работников. [ Для США ] Работники на MTurk должны конкурировать с другими за хорошие возможности HIT, а также тратить время на поиск заданий и других действий, за которые им не платят.

Низкая оплата, предлагаемая за многие задачи, вызвала критику Mechanical Turk за эксплуатацию и невыплату работникам компенсации за истинную ценность выполненной ими задачи. [57] Одно исследование 3,8 миллионов задач, выполненных 2767 работниками, показало, что «рабочие получали среднюю почасовую заработную плату около 2 долларов в час», а 4% работников зарабатывали более 7,25 долларов в час. [58]

Исследовательский центр Pew и Международное бюро труда опубликовали данные, согласно которым в 2015 году люди зарабатывали около 5 долларов в час. [12] [59] Исследование, посвященное работникам в США, показало, что средняя заработная плата составляет не менее 5,70 долларов в час, [60] а данные исследования CloudResearch выявили среднюю заработную плату около 6,61 доллара в час. [14] Некоторые данные свидетельствуют о том, что очень активные и опытные люди могут зарабатывать 20 долларов в час и более. [61]

Мошенничество

Журнал Nation сообщил в 2014 году, что некоторые запрашивающие использовали работников, заставляя их выполнять задания, а затем отклоняли их заявки, чтобы не платить им. [62] Имеющиеся данные указывают на то, что отказы случаются довольно редко. Работники сообщают, что небольшое меньшинство их HIT отклонялось, возможно, всего 1%. [14]

В скандале с данными Facebook–Cambridge Analytica Mechanical Turk был одним из средств тайного сбора частной информации для огромной базы данных. [63] Система платила людям доллар или два за установку приложения, подключенного к Facebook , и ответы на личные вопросы. Задание по опросу, как работа по найму, не использовалось для демографического или психологического исследовательского проекта, как могло показаться. Вместо этого целью было заставить работника раскрыть личную информацию о личности работника, которая еще не была собрана Facebook или Mechanical Turk.

Трудовые отношения

Другие критиковали рынок за то, что он не позволяет работникам вести переговоры с работодателями. В ответ на критику уклонения от уплаты и отсутствия представительства группа разработала стороннюю платформу Turkopticon, которая позволяет работникам оставлять отзывы о своих работодателях. Это позволяет работникам избегать потенциально недобросовестных работ и рекомендовать лучших работодателей. [64] [65] Другая платформа Dynamo позволяет работникам собирать [ необходимо разъяснение ] анонимно и организовывать кампании по улучшению своей рабочей среды, такие как Guidelines for Academic Requesters и Dear Jeff Bezos Campaign. [66] [67] [68] [69] Amazon усложнила для работников регистрацию в Dynamo, закрыв учетную запись запроса, которая предоставляла работникам требуемый код для членства в Dynamo. Работники создали сторонние плагины для определения более высокооплачиваемых задач, но Amazon обновил свой веб-сайт, чтобы предотвратить работу этих плагинов. [70] Работники жаловались, что платежная система Amazon иногда перестает работать. [70]

Связанные системы

Mechanical Turk в некоторых отношениях сопоставим с ныне прекращенным сервисом Google Answers . Однако Mechanical Turk — это более общая торговая площадка , которая потенциально может помочь распределить любые рабочие задачи по всему миру. Collaborative Human Interpreter (CHI) Филиппа Ленссена также предложил использовать распределенный человеческий интеллект, чтобы помочь компьютерным программам выполнять задачи, которые компьютеры не могут хорошо выполнять. MTurk можно использовать в качестве исполнительного механизма для CHI. [ необходима цитата ]

В 2014 году российский поисковый гигант Яндекс запустил похожую систему под названием «Толока», которая похожа на «Механического турка». [71]

Смотрите также

Ссылки

  1. ^ "Amazon Mechanical Turk, страница часто задаваемых вопросов" . Получено 14 апреля 2017 г. .
  2. ^ "Обзор | Requester | Amazon Mechanical Turk". Requester.mturk.com . Получено 28.11.2011 .
  3. ^ "Amazon Mechanical Turk". www.mturk.com .
  4. ^ Несколько источников:
    • «Гибридное машинно-человеческое вычислительное устройство». 2001. Архивировано из оригинала 12 июня 2018 г. Получено 28 июля 2016 г.
    • Патент США 7,197,459
  5. ^ "Искусственный искусственный интеллект". The Economist . 2006-06-10.
  6. ^ ab "Mturk pricing". AWS . Amazon. 2019 . Получено 16 апреля 2019 .
  7. ^ "Форумы разработчиков AWS" . Получено 14 ноября 2012 г.
  8. ^ Тамир, Дан. «50000 Worldwide Mechanical Turk Workers». techlist . Получено 17 сентября 2014 г.
  9. ^ Джеллел, Дифаллах; Филатова, Елена; Ипейротис, Панос (2018). «Демография и динамика рабочих-механиков-турок». Труды одиннадцатой Международной конференции ACM по веб-поиску и интеллектуальному анализу данных (PDF) . стр. 135–143. doi :10.1145/3159652.3159661. ISBN 9781450355810. S2CID  22339115.
  10. ^ abc "Amazon Mechanical Turk: The Digital Sweatshop" Эллен Кушинг Utne Reader Январь–Февраль 2013 г.
  11. ^ Берг, Джанин (2015–2016). «Гарантия дохода в экономике по требованию: выводы и политические уроки из опроса краудворкеров». Comparative Labour Law & Policy Journal . 37 : 543.
  12. ^ ab Geiger, Abigail (2016-07-11). «Исследования в эпоху краудсорсинга, пример». Pew Research Center: Интернет, наука и технологии . Получено 2023-01-09 .
  13. ^ "Amazon Mechanical Turk -Fair Crowd Work" . Получено 2023-01-09 .
  14. ^ abcd Мосс, Аарон Дж.; Розенцвейг, Чески; Робинсон, Джонатан; Джаффе, Шалом Ноах; Литман, Лейб (28.04.2020). «Этично ли использовать Mechanical Turk для поведенческих исследований? Соответствующие данные репрезентативного опроса участников MTurk и заработной платы». doi :10.31234/osf.io/jbc9d. S2CID  236840556. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  15. ^ "MTurk — самый этичный способ набрать краудфандеров". Блог | TurkerView . 2019-11-18 . Получено 2023-01-09 .
  16. ↑ Панос Ипиротис (19 марта 2008 г.). «Механический турок: демография». Нью-Йоркский университет . Получено 30 июля 2009 г.
  17. ^ Панос Ипиротис (16 марта 2009 г.). «Демография Туркера против демографии Интернета». Нью-Йоркский университет . Получено 30 июля 2009 г.
  18. ^ abc Литман, Лейб (2020). Проведение онлайн-исследований на Amazon Mechanical Turk и за его пределами. Джонатан Робинсон (1-е изд.). Лос-Анджелес. ISBN 978-1-5063-9111-3. OCLC  1180179545.{{cite book}}: CS1 maint: location missing publisher (link)
  19. ^ Робинсон, Джонатан; Розенцвейг, Чески; Мосс, Аарон Дж.; Литман, Лейб (16.12.2019). Судзина, Франтишек (ред.). «Выжат или едва выжат? Рекомендации по использованию огромного и в значительной степени неиспользованного потенциала пула участников Mechanical Turk». PLOS ONE . 14 (12): e0226394. Bibcode : 2019PLoSO..1426394R. doi : 10.1371 /journal.pone.0226394 . ISSN  1932-6203. PMC 6913990. PMID  31841534. 
  20. ↑ Панос Ипиротис (9 марта 2010 г.). «Новая демография механического турка». Нью-Йоркский университет . Получено 24.03.2014 .
  21. ^ "MTurk Tracker". demographics.mturk-tracker.com . Получено 1 октября 2015 г. .
  22. ^ "MTurk Tracker". demographics.mturk-tracker.com . Получено 2 мая 2019 г. .
  23. ^ "MTurk Tracker". demographics.mturk-tracker.com . Получено 17 апреля 2023 г. .
  24. ^ Кейси, Логан; Чендлер, Джесси; Левин, Адам; Проктор, Эндрю; Ситолович, Дара (2017). «Межвременные различия среди работников MTurk: вариации выборки на основе времени и их значение для сбора данных в режиме онлайн». SAGE Open . 7 (2): 215824401771277. doi : 10.1177/2158244017712774 .
  25. ^ Левай, Кевин; Фриз, Джереми; Дракман, Джеймс (2016). «Демографический и политический состав выборок Механического турка». SAGE Open . 6 : 215824401663643. doi : 10.1177/2158244016636433 .
  26. ^ Эгли, Джон; Сяо, Юнью; Нолан, Рэйчел; Голзарри-Арройо, Лилиан (2021). «Вопросы контроля качества на Amazon’s Mechanical Turk (MTurk): рандомизированное исследование воздействия на USAUDIT, PHQ-9 и GAD-7». Методы исследования поведения . 54 (2): 885–897. doi : 10.3758/s13428-021-01665-8 . ISSN  1554-3528. PMC 8344397. PMID 34357539  . 
  27. ^ Хаузер, Дэвид; Паолаччи, Габриэле; Чендлер, Джесси Дж. (01.09.2018). «Распространенные проблемы с MTurk как пулом участников: доказательства и решения». doi : 10.31234/osf.io/uq45c. S2CID  240258666. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
    • Клиффорд, Скотт; Джерит, Дженнифер (2016). «Обман в вопросах о политических знаниях в онлайн-опросах: оценка проблемы и решения». Public Opinion Quarterly . 80 (4): 858–887. doi : 10.1093/poq/nfw030 . ISSN  0033-362X.
    • Хаузер, Дэвид Дж.; Мосс, Аарон Дж.; Розенцвейг, Чески; Джаффе, Шалом Н.; Робинсон, Джонатан; Литман, Лейб (2022-11-03). «Оценка одобренной группы CloudResearch как решения для проблемного качества данных на MTurk». Методы исследования поведения . 55 (8): 3953–3964. doi : 10.3758/s13428-022-01999-x . ISSN  1554-3528. PMC 10700412.  PMID 36326997  .
  28. ^ Чандлер, Джесси.; Шапиро, Даниэль (2016). «Проведение клинических исследований с использованием краудсорсинговых удобных образцов». Ежегодный обзор клинической психологии . 12 : 53–81. doi : 10.1146/annurev-clinpsy-021815-093623 . PMID  26772208.
  29. ^ Хафф, Коннор; Тингли, Дастин (01.07.2015). ""Кто эти люди?" Оценка демографических характеристик и политических предпочтений респондентов опроса MTurk". Исследования и политика . 2 (3): 205316801560464. doi : 10.1177/2053168015604648 . ISSN  2053-1680. S2CID  7749084.
  30. ^ ab Клиффорд, Скотт; Джуэлл, Райан М; Ваггонер, Филип Д. (2015-10-01). «Являются ли образцы, взятые из Mechanical Turk, действительными для исследования политической идеологии?». Исследования и политика . 2 (4): 205316801562207. doi : 10.1177/2053168015622072 . ISSN  2053-1680. S2CID  146591698.
  31. ^ Чандлер, Джесси; Розенцвейг, Чески; Мосс, Аарон Дж.; Робинсон, Джонатан; Литман, Лейб (октябрь 2019 г.). «Онлайн-панели в исследованиях социальных наук: расширение методов выборки за пределы Mechanical Turk». Методы исследования поведения . 51 (5): 2022–2038. doi :10.3758/s13428-019-01273-7. ISSN  1554-3528. PMC 6797699. PMID 31512174  . 
  32. ^ Раджпуркар, Пранав; Чжан, Цзянь; Лопырев, Константин; Лян, Перси (2016). «SQuAD: 100 000+ вопросов для машинного понимания текста». arXiv : 1606.05250 [cs.CL].
  33. ↑ Стив Силберман (24 июля 2007 г.). «Внутри высоких технологий в поисках легенды Кремниевой долины». Журнал Wired . Получено 16 сентября 2007 г.
  34. ^ "AVweb приглашает вас присоединиться к поискам Стива Фоссета". Avweb.com. 8 сентября 2007 г. Получено 28 ноября 2011 г.
  35. ^ "Официальные результаты Mechanical Turk Стива Фоссета". 2007-09-24 . Получено 2012-08-14 .
  36. ↑ Джим Кристи (1 октября 2008 г.). «Путешественники находят удостоверение личности Стива Фоссета и его вещи». Reuters . Архивировано из оригинала 20 декабря 2008 г. Получено 27 ноября 2008 г.
  37. ^ «Давайте займемся физкультурой». 5 августа 2008 г.
  38. ^ "Mechanical Games, онлайн-спортивное видео для турков | Neural". 29 октября 2010 г.
  39. ^ "Jail Benches and Amazon.com at SanTana's Grand Central Art Center | OC Weekly". Архивировано из оригинала 2015-09-06 . Получено 2019-04-16 .
    • Проект: http://www.missconceptions.net/mediations/
  40. ^ "Блог Amazon Web Services: Обновление статуса Amazon Mechanical Turk". Aws.typepad.com. 2005-12-06 . Получено 2011-11-28 .
  41. ^ "Архив документации: Amazon Web Services". Developer.amazonwebservices.com. Архивировано из оригинала 2009-04-10 . Получено 2011-11-28 .
  42. ^ «Справочник API Amazon Mechanical Turk». Developer.amazonwebservices.com.
  43. ^ abcd «Внутри платформы Clickworker от Amazon: как полмиллиона человек получают гроши за обучение ИИ». TechRepublic . 16 декабря 2016 г.
  44. ^ Ландерс, Р. Н.; Беренд, Т. С. (2015). «Могу ли я использовать Механического Турка (MTurk) для научного исследования?». Промышленная и организационная психология . 8 (2).
  45. ^ «Внешняя валидность — обобщение результатов исследований». exploreable.com .
    • «Методы социальных исследований — База знаний — Внешняя валидность». www.socialresearchmethods.net .
  46. ^ Коппок, Александр; Липер, Томас Дж.; Маллиникс, Кевин Дж. (2018-12-04). «Обобщяемость оценок эффекта гетерогенного лечения по выборкам». Труды Национальной академии наук . 115 (49): 12441–12446. Bibcode : 2018PNAS..11512441C. doi : 10.1073/pnas.1808083115 . ISSN  0027-8424. PMC 6298071. PMID 30446611  . 
  47. ^ Чандлер, Джесси; Розенцвейг, Чески; Мосс, Аарон Дж.; Робинсон, Джонатан; Литман, Лейб (01.10.2019). «Онлайн-панели в исследованиях социальных наук: расширение методов выборки за пределы Mechanical Turk». Методы исследования поведения . 51 (5): 2022–2038. doi :10.3758/s13428-019-01273-7. ISSN  1554-3528. PMC 6797699. PMID 31512174  . 
  48. ^ Jaron Lanier (2013). Кому принадлежит будущее? . Simon and Schuster. ISBN 978-1-4516-5497-4.
  49. ^ "Ghost Work". Ghost Work . Получено 2023-01-24 .
  50. ^ Семуэлс, Алана (23.01.2018). «Интернет открывает новый вид плохо оплачиваемого ада». The Atlantic . Получено 24.01.2023 .
  51. ^ Форт, К.; Адда, Г.; Коэн, КБ (2011). «Amazon Mechanical Turk: золотая жила или угольная шахта?». Computational Linguistics . 37 (2): 413–420. doi : 10.1162/COLI_a_00057 . S2CID  1051130.
    • Уильямсон, Ванесса (январь 2016 г.). «Об этике краудсорсинговых исследований». PS: Политическая наука и политика . 49 (1): 77–81. doi : 10.1017/S104909651500116X (неактивен 29.09.2024). ISSN  1049-0965. S2CID  155196102.{{cite journal}}: CS1 maint: DOI inactive as of September 2024 (link)
  52. ^ Хортон, Джон Дж. (01.04.2011). «Состояние класса Тёркинга: справедливы ли и честны ли онлайн-работодатели?». Economics Letters . 111 (1): 10–12. arXiv : 1001.1172 . doi :10.1016/j.econlet.2010.12.007. ISSN  0165-1765. S2CID  37577313.
    • Мосс, А. Дж.; Розенцвейг, К.; Робинсон, Дж.; Джаффе, С.; Литман, Л. (2020). «Этично ли использовать Механического турка для поведенческих исследований? Соответствующие данные репрезентативного опроса участников MTurk и заработных плат». Методы исследования поведения .
  53. ^ Эгли, Джон; Мумав, Кейси (29.05.2024). «Предупреждение участников краудсорсингового исследования о возможных последствиях невнимательного участия относится к осознанному согласию, независимо от влияния на качество данных». Health Behavior Research . 7 (2). doi : 10.4148/2572-1836.1236. ISSN  2572-1836.
  54. ^ Брюльманн, Флориан; Мемети, Згжим; Эшбах, Лена Ф.; Перриг, Себастьян А.С.; Опвис, Клаус (18.01.2024). «Эффективность предупреждающих заявлений в снижении небрежных ответов в краудсорсинговых онлайн-опросах». Методы исследования поведения . 56 (6): 5862–5875. doi : 10.3758/s13428-023-02321-z . ISSN  1554-3528. PMC 11335820. PMID 38238528  . 
  55. ^ "Amazon Mechanical Turk -Fair Crowd Work" . Получено 24.01.2023 .
  56. ^ Ипейротис, ПГ (2010). Анализ рынка Amazon Mechanical Turk. XRDS: Crossroads, Журнал ACM для студентов , 17 (2), 16-21.
    • Гейгер, Эбигейл (11 июля 2016 г.). «Исследования в эпоху краудсорсинга, пример». Pew Research Center: Интернет, наука и технологии . Получено 24 января 2023 г.
  57. ^ Шмидт, Флориан Александр (2013). «Хорошее, плохое и злое: почему краудсорсингу нужна этика». Международная конференция по облачным и экологичным вычислениям 2013 г. С. 531–535. doi :10.1109/CGC.2013.89. ISBN 978-0-7695-5114-2. S2CID  18798641.
  58. ^ Хара, Котаро; Адамс, Эбигейл; Милланд, Кристи; Сэвидж, Сайф; Каллисон-Берч, Крис; Бигхэм, Джеффри П. (2018-04-21). «Анализ доходов работников на основе данных на Amazon Mechanical Turk». Труды конференции CHI 2018 года по человеческому фактору в вычислительных системах. CHI '18. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 1–14. doi : 10.1145/3173574.3174023. ISBN 978-1-4503-5620-6. S2CID  5040507.
  59. ^ Берг, Дж. (2015). Гарантии дохода в экономике по требованию: выводы и политические уроки из опроса краудворкеров. Comparative Labour Law and Policy Journal, 37, 543.
  60. ^ Литман, Лейб; Робинсон, Джонатан; Розен, Зон; Розенцвейг, Чески; Ваксман, Джошуа; Бейтс, Лиза М. (21.02.2020). «Сохранение неравенства в оплате труда: гендерный разрыв в оплате труда на анонимном онлайн-рынке труда». PLOS ONE . 15 (2): e0229383. Bibcode : 2020PLoSO..1529383L. doi : 10.1371/journal.pone.0229383 . ISSN  1932-6203. PMC 7034870. PMID 32084233  . 
  61. ^ "MTurk — самый этичный способ набрать краудфандеров". Блог | TurkerView . 2019-11-18 . Получено 2023-01-24 .
  62. ^ Марвит, Моше З. (5 февраля 2014 г.). «Как краудворкеры стали призраками в цифровой машине». www.thenation.com .
  63. ↑ New York Times (10 апреля 2018 г.). «Cambridge Analytica и грядущий провал данных». The New York Times . Получено 13 апреля 2018 г.
  64. ^ Хэл Ходсон (7 февраля 2013 г.). «Краудсорсинг растет по мере объединения онлайн-работников». New Scientist . Получено 21 мая 2015 г.
  65. ^ "turkopticon". turkopticon.ucsd.edu .
  66. ↑ Марк Харрис (3 декабря 2014 г.). «Работники Amazon’s Mechanical Turk протестуют: «Я человек, а не алгоритм». The Guardian . Получено 6 октября 2015 г.
  67. ^ Fingas, Jon (3 декабря 2014 г.). «Работники Amazon’s Mechanical Turk хотят, чтобы к ним относились как к людям». Engadget . Получено 6 октября 2015 г.
  68. ↑ Джеймс Винсент (4 декабря 2014 г.). «Механические туркеры Amazon хотят, чтобы их признали «настоящими людьми». The Verge . Получено 6 октября 2015 г.
  69. ↑ Сара Кесслер (19 февраля 2015 г.). «КАК ВЫГЛЯДИТ ПРОФСОЮЗ В ГИГ-ЭКОНОМИКЕ?». Fast Company . Получено 6 октября 2015 г.
  70. ^ ab Semuels, Alana (23 января 2018 г.). «Интернет открывает новый вид плохо оплачиваемого ада». The Atlantic . Получено 25 апреля 2019 г. .
  71. ^ "Яндекс.Толока".

Дальнейшее чтение

Внешние ссылки