stringtranslate.com

Амазонка Механический Турок

Amazon Mechanical Turk ( MTurk ) — это краудсорсинговый веб-сайт, с помощью которого предприятия могут нанимать удаленно расположенных «краудворкеров» для выполнения отдельных задач по требованию, которые компьютеры в настоящее время не могут выполнять с такой же экономичностью. Он управляется Amazon Web Services и принадлежит Amazon . [1] Работодатели (известные как запрашивающие ) публикуют вакансии, известные как задачи человеческого интеллекта (HIT), такие как идентификация конкретного контента в изображении или видео, написание описаний продуктов или ответы на вопросы опроса. Работники, в просторечии известные как туркеры или краудворкеры , просматривают существующие вакансии и выполняют их в обмен на плату, установленную работодателем. Для размещения вакансий запрашивающие программы [ необходимы пояснения ] используют открытый интерфейс прикладного программирования (API) или более ограниченный сайт MTurk Requester. [2] По состоянию на апрель 2019 года заявители могли зарегистрироваться из 49 одобренных стран. [3]

История

Сервис был задуман Венки Харинараяном в раскрытии патента США в 2001 году. [4] Amazon ввела термин « искусственный искусственный интеллект» для процессов, которые передают людям некоторые части компьютерной программы, поскольку эти задачи выполняются людьми гораздо быстрее, чем компьютерами. Это утверждается [ кем? ] что Джефф Безос был ответственным за предложение разработать Amazon Mechanical Turk для реализации этого процесса. [5]

Название «Механический турок» было вдохновлено « Турком », шахматным автоматом XVIII века , созданным Вольфгангом фон Кемпеленом , который путешествовал по Европе и победил Наполеона Бонапарта и Бенджамина Франклина . Позже выяснилось, что эта «машина» была не автоматом, а человеком- шахматистом , спрятанным в шкафу под доской и управляющим движениями гуманоидного манекена. Аналогичным образом, онлайн-сервис Mechanical Turk использует удаленный человеческий труд, скрытый за компьютерным интерфейсом, чтобы помочь работодателям выполнять задачи, которые невозможно выполнить с помощью настоящей машины.

MTurk был публично запущен 2 ноября 2005 года. Его пользовательская база быстро росла. В начале-середине ноября 2005 года существовали десятки тысяч вакансий, и все они были загружены в систему самой Amazon для выполнения некоторых внутренних задач, требующих человеческого интеллекта. Типы HIT расширились и теперь включают расшифровку, рейтинг, маркировку изображений, опросы и написание.

По сообщениям, в марте 2007 года в более чем 100 странах работало более 100 000 рабочих. [6] В январе 2011 года число зарегистрированных работников выросло до более чем 500 000 из более чем 190 стран. [7] В том же году компания Techlist опубликовала интерактивную карту, на которой указано местонахождение 50 000 ее работников MTurk по всему миру. [8] К 2018 году исследования показали, что, хотя на платформе в любое время было доступно более 100 000 работников, активно работали только около 2000. [9]

Обзор

Пользователь Mechanical Turk может быть либо «Работником» (подрядчиком), либо «Заказчиком» (работодателем). Работники имеют доступ к информационной панели, на которой отображаются три раздела: общий доход, статус HIT и итоговые показатели HIT. Рабочие сами устанавливают свой график работы и не обязаны брать на себя какую-либо конкретную задачу.

Amazon классифицирует работников как подрядчиков , а не сотрудников, и не платит налоги на заработную плату. Классификация работников как подрядчиков позволяет Amazon избегать таких вещей, как минимальная заработная плата , сверхурочная работа и компенсация работникам — это обычная практика среди платформ «экономики свободного заработка». По закону работники обязаны сообщать о своих доходах как о доходах от самозанятости.

В 2013 году средняя заработная плата за несколько назначенных микрозадач, если они выполнялись быстро, составляла около одного доллара в час, при этом каждая задача стоила в среднем несколько центов. [10] Однако рассчитать средний почасовой заработок людей на сайте микрозадач чрезвычайно сложно, и несколько источников данных показывают, что средний почасовой заработок находится в диапазоне 5–9 долларов в час [11] [12] [13] [14] среди значительного числа рабочих, в то время как наиболее опытные, активные и квалифицированные работники могут зарабатывать более 20 долларов в час. [15]

Работники могут иметь почтовый адрес в любой точке мира. Оплата за выполнение задач может быть погашена на Amazon.com с помощью подарочного сертификата (подарочные сертификаты — единственный вариант оплаты, доступный для иностранных работников, за исключением Индии) или может быть переведена на банковский счет работника в США.

Запрашивающие могут попросить, чтобы работники выполнили квалификацию, прежде чем приступить к выполнению задания, а также могут разработать тест, предназначенный для проверки квалификации. Они также могут принять или отклонить отправленный Работником результат, что влияет на репутацию Работника. По состоянию на апрель 2019 года заявители платили Amazon минимальную комиссию в размере 20 % от цены успешно выполненных работ, а также увеличивали суммы за дополнительные услуги [ необходимы разъяснения ] . [6] Запрашивающие могут использовать API Amazon Mechanical Turk для программной интеграции результатов работы непосредственно в свои бизнес-процессы и системы. При приеме на работу работодатели должны указать

а также конкретные сведения о работе, которую они хотят выполнить.

Расположение туркеров

С момента создания платформы работники в основном проживают в Соединенных Штатах [16] с демографическими показателями, которые в целом аналогичны общей численности интернет-населения в США [17]. В США работники довольно равномерно распределены по штатам, пропорционально доле каждого штата в США. Население. [18] По состоянию на 2019 год от 15 до 30 тысяч человек в США проходят хотя бы один HIT каждый месяц, и каждый месяц к MTurk присоединяются около 4500 новых людей. [19]

Денежные выплаты для индийских рабочих были введены в 2010 году, что обновило демографические данные рабочих, которые, однако, остались в основном в Соединенных Штатах. [20] Веб-сайт, показывающий демографические данные работников, в мае 2015 года показал, что 80% работников проживали в Соединенных Штатах, а остальные 20% — в других странах мира, большинство из которых находились в Индии. [21] В мае 2019 года примерно 60% проживали в США, 40% в других странах (примерно 30% в Индии). [22] В начале 2023 года около 90% работников были из США и около половины остальных — из Индии. [23]

Использование

Исследования на человеке

С 2010 года многочисленные исследователи изучали возможность использования Mechanical Turk для набора субъектов для экспериментов в области социальных наук. Исследователи в целом обнаружили, что, хотя выборки респондентов, полученные с помощью Mechanical Turk, не полностью соответствуют всем важным характеристикам населения США, они также не являются сильно искажающими. [24] [25] В результате каждый год публикуются тысячи статей, основанных на данных, полученных от работников Mechanical Turk, в том числе сотни в ведущих академических журналах.

Проблема с использованием MTurk для исследований на людях заключалась в поддержании качества данных. Исследование, опубликованное в 2021 году, показало, что типы подходов к контролю качества, используемые исследователями (например, проверка на наличие ботов, пользователей VPN или работников, желающих предоставить нечестные ответы), могут существенно повлиять на результаты опроса. Они продемонстрировали это, воздействуя на три распространенных инструмента скрининга поведенческого и психического здоровья. [26] Несмотря на то, что управление качеством данных требует работы исследователей, существует большое количество исследований, показывающих, как собирать высококачественные данные из MTurk. [27] Стоимость использования MTurk значительно ниже, чем многих других средств проведения опросов, поэтому многие исследователи продолжают его использовать.

По общему мнению исследователей, этот сервис лучше всего подходит для набора разнообразной выборки; он менее успешен в исследованиях, которые требуют более точного определения групп населения или репрезентативной выборки населения в целом. [28] Было опубликовано множество статей о демографии населения MTurk. [18] [29] [30] Работники MTurk, как правило, моложе, более образованы, более либеральны и немного менее богаты, чем население США в целом. [31]

Машинное обучение

Для успешного обучения алгоритмам контролируемого машинного обучения требуются большие объемы аннотированных человеком данных. Исследователи машинного обучения наняли работников через Mechanical Turk для создания наборов данных, таких как SQuAD, набор данных, отвечающих на вопросы . [32]

Поиски пропавших без вести

С 2007 года сервис используется для поиска известных пропавших без вести лиц. Впервые такое использование было предложено во время поисков Джеймса Кима , но его тело было найдено до того, как был достигнут какой-либо технический прогресс. Тем летом ученый-компьютерщик Джим Грей исчез на своей яхте, а Вернер Фогельс из Amazon , личный друг, договорился с DigitalGlobe , которая предоставляет спутниковые данные для Google Maps и Google Earth , разместить недавние фотографии Фараллонских островов на Mechanical Turk. Статья на первой странице Digg привлекла 12 000 поисковиков, которые работали с профессионалами в области изображений над теми же данными. Поиски не увенчались успехом. [33]

В сентябре 2007 года подобная договоренность была повторена при поиске авиатора Стива Фоссета . Спутниковые данные были разделены на секции площадью 85 квадратных метров (910 квадратных футов), и пользователей Mechanical Turk попросили пометить изображения с «инородными объектами», которые могли быть местом крушения или другими доказательствами, которые следует изучить более внимательно. [34] Этот поиск также не увенчался успехом. Спутниковые снимки были в основном в радиусе 50 миль, [35] но место крушения в конечном итоге было обнаружено туристами примерно год спустя, в 65 милях от него. [36]

Художественные работы

MTurk также использовался как инструмент художественного творчества. Одним из первых художников, работавших с Mechanical Turk, была Кстин Берроу с The Mechanical Olympics (2008), [37] [38] Endless Om (2015) и Mediations on Digital Labor (2015). [39] Еще одной работой была «Десять тысяч центов» художника Аарона Коблина (2008). [ нужны дальнейшие объяснения ]

Стороннее программирование

Программисты разработали расширения для браузеров и скрипты , призванные упростить процесс выполнения заданий. Amazon заявила, что не одобряет сценарии, которые полностью автоматизируют процесс и исключают человеческий фактор. Это связано с опасениями, что процесс выполнения задачи (например, участие в опросе) может быть связан со случайными ответами, и полученные в результате собранные данные могут оказаться бесполезными. [40] Аккаунты, использующие так называемых автоматических ботов, были заблокированы. Есть сервисы, расширяющие возможности MTurk. [ нужны разъяснения ]

API

Amazon предоставляет интерфейс прикладного программирования (API) для системы MTurk. API MTurk позволяет программисту отправлять задания, получать выполненные работы, а также утверждать или отклонять эту работу. [41] В 2017 году Amazon запустил поддержку комплектов средств разработки программного обеспечения (SDK) AWS, что позволило пользователям MTurk получить доступ к девяти новым SDK. [ важность? ] MTurk доступен через API со следующих языков: Python, JavaScript, Java, .NET, Go, Ruby, PHP или C++. [42] Веб-сайты и веб-сервисы могут использовать API для интеграции работы MTurk с другими веб-приложениями, предоставляя пользователям альтернативы интерфейсу, созданному Amazon для этих функций.

ER_diagram назначения работника-HIT

Примеры использования

Обработка фото/видео

Amazon Mechanical Turk предоставляет платформу для обработки изображений — задачу, хорошо подходящую для человеческого интеллекта. Запрашивающие создали задания, в которых работникам предлагается маркировать объекты, найденные на изображении, выбирать наиболее подходящее изображение из группы изображений, проверять нежелательный контент, классифицировать объекты на спутниковых изображениях или оцифровывать текст с изображений, например, отсканированных форм, заполненных вручную. [43]

Очистка/проверка данных

Компании с большими онлайн-каталогами используют Mechanical Turk для выявления дубликатов и проверки деталей записей товаров. Например: удаление дубликатов в списках каталогов на желтых страницах, проверка сведений о ресторане (например, номер телефона и часы работы) и поиск контактной информации на веб-страницах (например, имя автора и адрес электронной почты). [10] [43]

Сбор информации

Диверсификация и масштаб персонала Mechanical Turk позволяют собирать информацию в больших масштабах, что было бы затруднительно вне групповой площадки. Mechanical Turk позволяет запрашивающим собирать большое количество ответов на различные типы опросов, от базовых демографических до академических исследований. Другие варианты использования включают написание комментариев, описаний и записей в блогах на веб-сайтах, а также поиск элементов данных или определенных полей в крупных правительственных и юридических документах. [43]

Обработка данных

Компании используют коллективный труд Mechanical Turk для понимания различных типов данных и реагирования на них. Обычное использование включает редактирование и транскрипцию подкастов, перевод и сопоставление результатов поисковых систем. [10] [43]

Обоснованность исследования

Обоснованность исследования, проведенного с участием рабочих Mechanical Turk, уже давно обсуждается среди экспертов. [44] Во многом это связано с тем, что вопросы валидности [45] сложны: они включают в себя не только вопросы о том, были ли методы исследования подходящими и было ли исследование хорошо выполнено, но также вопросы о цели проекта, о том, как исследователи использовал MTurk, кого брал выборку и какие выводы сделали.

Большинство экспертов сходятся во мнении, что MTurk лучше подходит для некоторых типов исследований, чем для других. MTurk хорошо подходит для вопросов, направленных на то, чтобы понять, связаны ли друг с другом две или более вещей (так называемые корреляционные исследования; например, являются ли счастливые люди более здоровыми?), а также для вопросов, которые пытаются показать, что одно вызывает другое (экспериментальное исследование; например, счастье делает людей более здоровыми). К счастью, эти категории охватывают большую часть исследований, проводимых учеными-бихевиористами, и большинство корреляционных и экспериментальных результатов, обнаруженных в репрезентативных на национальном уровне выборках, повторяются и на MTurk. [46]

Тип исследования, который не очень подходит для MTurk, часто называют «описательным исследованием». Описательное исследование направлено на описание того, как или что люди думают, чувствуют или делают; Одним из примеров является опрос общественного мнения. MTurk не очень подходит для таких исследований, поскольку не отбирает репрезентативную выборку населения в целом. Вместо этого MTurk — это невероятностный, [ жаргонный ] удобный образец. Описательные исследования лучше всего проводить на основе вероятностной репрезентативной выборки населения, которую исследователи хотят понять. По сравнению с населением в целом, люди на MTurk моложе, более образованы, более либеральны и менее религиозны. [47] [18] [30]

Трудовые вопросы

«Механический турок» подвергся критике со стороны журналистов и активистов за его взаимодействие с рабочей силой и ее использование. Ученый-компьютерщик Джарон Ланье отметил, что конструкция Mechanical Turk «позволяет думать о людях как о компонентах программного обеспечения», что вызывает «ощущение волшебства, как будто вы можете просто получить результаты из облака с невероятно низкой стоимостью». ". [48] ​​Аналогичная точка зрения высказывается в книге Мэри Л. Грей и Сиддхарта Сури «Работа с призраками» . [49] [ важность? ]

Критики MTurk утверждают, что рабочих вынуждают работать на объекте из-за нестабильных экономических условий, а затем их эксплуатируют заказчики с низкой заработной платой и отсутствием власти, когда возникают споры. Статья журналистки Аланы Семуэлс «Интернет открывает новый вид плохо оплачиваемого ада» в The Atlantic является типичным примером такой критики MTurk. [50]

Некоторые [ кто? ] академические статьи получили результаты, которые поддерживают или служат основой для такой общей критики, [51] , но другие противоречат им. [52]

В документе, опубликованном командой CloudResearch [14], показано, что только около 7% людей на MTurk рассматривают прохождение HIT как нечто похожее на работу на полный рабочий день. Большинство людей сообщают, что MTurk — это способ заработать деньги в свободное время или в качестве подработки. В 2019 году среднестатистический работник тратил от пяти до восьми часов в неделю и зарабатывал около 7 долларов в час. Работники, включенные в выборку, не сообщали о безудержном [ требуются разъяснения ] жестоком обращении со стороны запрашивающих; они сообщили, что доверяют заявителям больше, чем работодателям за пределами MTurk. Аналогичные выводы были представлены в обзоре MTurk организацией Fair Crowd Work, коллективом массовых работников и профсоюзов. [53] [ ненадежный источник? ]

Денежная компенсация

Минимальная оплата, которую Amazon допускает за задачу, составляет один цент. Поскольку задачи обычно просты и повторяются, за большинство задач платят всего несколько центов [54] , но на сайте есть и хорошо оплачиваемые задачи.

Многие критические замечания в адрес MTurk связаны с тем, что большинство задач требуют низкой заработной платы. Кроме того, работники считаются независимыми подрядчиками , а не наемными работниками. Независимые подрядчики не защищены Законом о справедливых трудовых стандартах или другим законодательством, защищающим права работников. [ Ориентация на США ] Работники MTurk должны конкурировать с другими за хорошие возможности HIT, а также тратить время на поиск задач и других действий, за которые они не получают вознаграждения.

Низкая оплата, предлагаемая за многие задачи, вызвала критику в отношении Mechanical Turk за эксплуатацию и некомпенсацию работникам истинной ценности выполненных ими задач. [55] Одно исследование 3,8 миллиона задач, выполненных 2767 работниками, показало, что «работники зарабатывали среднюю почасовую заработную плату около 2 долларов в час», при этом 4% работников зарабатывали более 7,25 долларов в час. [56]

Исследовательский центр Pew и Международное бюро труда опубликовали данные о том, что в 2015 году люди зарабатывали около 5 долларов в час . Согласно исследованию CloudResearch, средняя заработная плата составляет около 6,61 доллара в час. [14] Некоторые данные свидетельствуют о том, что очень активные и опытные люди могут зарабатывать 20 долларов в час и более. [59]

Мошенничество

В 2014 году журнал Nation сообщил, что некоторые Запрашивающие воспользовались услугами Работников, заставляя их выполнять задания, а затем отклоняли их заявки, чтобы не платить им. [60] Имеющиеся данные показывают, что отказы случаются довольно редко. Работники сообщают, что им было отклонено небольшое количество их HIT, возможно, всего 1%. [14]

В скандале с данными Facebook и Cambridge Analytica Mechanical Turk был одним из средств тайного сбора частной информации для огромной базы данных. [61] Система платила людям доллар или два за установку приложения, подключенного к Facebook , и ответы на личные вопросы. Задача опроса, как работа по найму, не использовалась для проекта демографического или психологического исследования, как могло бы показаться. Вместо этого цель заключалась в том, чтобы заставить работника раскрыть личную информацию о личности работника, которая еще не была собрана Facebook или Mechanical Turk.

Трудовые отношения

Другие раскритиковали то, что рынок не позволяет работникам вести переговоры с работодателями. В ответ на критику в уклонении от уплаты платежей и отсутствии представительства группа разработала стороннюю платформу под названием Turkopticon, которая позволяет работникам оставлять отзывы о своих работодателях. Это позволяет работникам избегать потенциально недобросовестных работ и рекомендовать лучших работодателей. [62] [63] Другая платформа под названием Dynamo позволяет работникам анонимно собирать [ необходимые разъяснения ] и организовывать кампании по улучшению своей рабочей среды, такие как «Руководство для академических заявителей» и «Дорогой Джефф Безос». [64] [65] [66] [67] Amazon усложнила работникам регистрацию в Dynamo, закрыв учетную запись запроса, которая предоставляла работникам необходимый код для членства в Dynamo. Рабочие создали сторонние плагины для определения более высокооплачиваемых задач, но Amazon обновил свой веб-сайт, чтобы эти плагины не работали. [68] Рабочие жаловались, что платежная система Amazon иногда перестает работать. [68]

Связанные системы

Mechanical Turk в некоторых отношениях можно сравнить с ныне прекращенной службой Google Answers . Однако Mechanical Turk — это более универсальная торговая площадка , которая потенциально может помочь распределить любые рабочие задачи по всему миру. «Совместный человеческий интерпретатор» (CHI) Филиппа Ленссена также предложил использовать распределенный человеческий интеллект, чтобы помочь компьютерным программам выполнять задачи, с которыми компьютеры не справляются хорошо. MTurk можно использовать в качестве механизма выполнения CHI. [ нужна цитата ]

В 2014 году российский поисковый гигант «Яндекс» запустил аналогичную систему под названием « Толока» , похожую на «Механического турка». [69]

Смотрите также

Рекомендации

  1. ^ «Amazon Mechanical Turk, страница часто задаваемых вопросов» . Проверено 14 апреля 2017 г.
  2. ^ «Обзор | Запрашивающий | Amazon Mechanical Turk» . Запрашивающий.mturk.com . Проверено 28 ноября 2011 г.
  3. ^ "Механический турок Amazon" . www.mturk.com .
  4. ^ Несколько источников:
    • «Гибридная машина и человеко-вычислительная система». 2001. Архивировано из оригинала 12 июня 2018 года . Проверено 28 июля 2016 г.
    • Патент США 7 197 459
  5. ^ «Искусственный искусственный интеллект». Экономист . 10 июня 2006 г.
  6. ^ ab "Цены на Mturk". АВС . Амазонка. 2019 . Проверено 16 апреля 2019 г.
  7. ^ «Форумы разработчиков AWS» . Проверено 14 ноября 2012 г.
  8. ^ Тамир, Дан. «50 000 турок-механиков по всему миру». технический список . Проверено 17 сентября 2014 г.
  9. ^ Джеллель, Дифаллах; Филатова, Елена; Ипейротис, Панос (2018). «Демография и динамика рабочих-механиков-турок». Материалы одиннадцатой Международной конференции ACM по веб-поиску и интеллектуальному анализу данных (PDF) . стр. 135–143. дои : 10.1145/3159652.3159661. ISBN 9781450355810. S2CID  22339115.
  10. ^ abc «Amazon Mechanical Turk: Цифровая потогонная мастерская» Эллен Кушинг Utne Reader , январь – февраль 2013 г.
  11. ^ Берг, Джанин (2015–2016). «Гарантия дохода в экономике по требованию: выводы и политические уроки на основе опроса краудворкеров». Сравнительный журнал трудового законодательства и политики . 37 : 543.
  12. ^ Аб Гейгер, Эбигейл (11 июля 2016 г.). «Исследования в эпоху краудсорсинга, практический пример». Исследовательский центр Пью: Интернет, наука и технологии . Проверено 9 января 2023 г.
  13. ^ "Amazon Mechanical Turk - Ярмарка коллективной работы" . Проверено 9 января 2023 г.
  14. ^ abcd Мосс, Аарон Дж; Розенцвейг, Чески; Робинсон, Джонатан; Яффе, Шалом Ноах; Литман, Лейб (28 апреля 2020 г.). «Этично ли использовать Mechanical Turk для поведенческих исследований? Соответствующие данные репрезентативного опроса участников MTurk и заработной платы». doi : 10.31234/osf.io/jbc9d. S2CID  236840556. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
  15. ^ «MTurk — наиболее этичный способ найма работников толпы» . Блог | ТёркерВью . 18.11.2019 . Проверено 9 января 2023 г.
  16. ↑ Панос Ипейротис (19 марта 2008 г.). «Механический турок: демография». Нью-Йоркский университет . Проверено 30 июля 2009 г.
  17. ↑ Панос Ипейротис (16 марта 2009 г.). «Демография Теркера против демографии Интернета». Нью-Йоркский университет . Проверено 30 июля 2009 г.
  18. ^ abc Литман, Лейб (2020). Проведение онлайн-исследований Amazon Mechanical Turk и не только. Джонатан Робинсон (1-е изд.). Лос-Анджелес. ISBN 978-1-5063-9111-3. ОСЛК  1180179545.{{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
  19. ^ Робинсон, Джонатан; Розенцвейг, Чески; Мосс, Аарон Дж.; Литман, Лейб (16 декабря 2019 г.). Судзина, Франтишек (ред.). «Использовано или едва использовано? Рекомендации о том, как использовать огромный и в значительной степени неиспользованный потенциал пула участников Mechanical Turk». ПЛОС ОДИН . 14 (12): e0226394. Бибкод : 2019PLoSO..1426394R. дои : 10.1371/journal.pone.0226394 . ISSN  1932-6203. ПМК 6913990 . ПМИД  31841534. 
  20. ↑ Панос Ипейротис (9 марта 2010 г.). «Новая демография механических турок». Нью-Йоркский университет . Проверено 24 марта 2014 г.
  21. ^ "MTurk Tracker" . demographics.mturk-tracker.com . Проверено 1 октября 2015 г.
  22. ^ "MTurk Tracker" . demographics.mturk-tracker.com . Проверено 2 мая 2019 г.
  23. ^ "MTurk Tracker" . demographics.mturk-tracker.com . Проверено 17 апреля 2023 г.
  24. ^ Кейси, Логан; Чендлер, Джесси; Левин, Адам; Проктор, Эндрю; Сытолович, Дара (2017). «Межвременные различия среди работников MTurk: временные вариации выборки и последствия для сбора данных в Интернете». СЕЙДЖ Открыть . 7 (2): 215824401771277. doi : 10.1177/2158244017712774 .
  25. ^ Левай, Кевин; Фриз, Джереми; Дракман, Джеймс (2016). «Демографический и политический состав выборок механических турок». СЕЙДЖ Открыть . 6 : 215824401663643. дои : 10.1177/2158244016636433 .
  26. ^ Эгли, Джон; Сяо, Юньюй; Нолан, Рэйчел; Голзарри-Арройо, Лилиан (2021). «Вопросы контроля качества Amazon Mechanical Turk (MTurk): рандомизированное исследование воздействия на USAUDIT, PHQ-9 и GAD-7». Методы исследования поведения . 54 (2): 885–897. дои : 10.3758/s13428-021-01665-8 . ISSN  1554-3528. ПМЦ 8344397 . ПМИД  34357539. 
  27. ^ Хаузер, Дэвид; Паолаччи, Габриэле; Чендлер, Джесси Дж. (01 сентября 2018 г.). «Общие опасения по поводу MTurk как пула участников: доказательства и решения». doi : 10.31234/osf.io/uq45c. S2CID  240258666. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
    • Клиффорд, Скотт; Джерит, Дженнифер (2016). «Обман с вопросами о политических знаниях в онлайн-опросах: оценка проблемы и пути решения». Общественное мнение Ежеквартально . 80 (4): 858–887. дои : 10.1093/poq/nfw030 . ISSN  0033-362X.
    • Хаузер, Дэвид Дж.; Мосс, Аарон Дж.; Розенцвейг, Чески; Яффе, Шалом Н.; Робинсон, Джонатан; Литман, Лейб (3 ноября 2022 г.). «Оценка утвержденной группы CloudResearch как решение проблем с качеством данных на MTurk». Методы исследования поведения . дои : 10.3758/s13428-022-01999-x . ISSN  1554-3528. ПМК  10700412 . ПМИД  36326997.
  28. ^ Чендлер, Джесси.; Шапиро, Даниэль (2016). «Проведение клинических исследований с использованием удобных образцов, полученных из краудсорсинга». Ежегодный обзор клинической психологии . 12 : 53–81. doi : 10.1146/annurev-clinpsy-021815-093623 . ПМИД  26772208.
  29. ^ Хафф, Коннор; Тингли, Дастин (01 июля 2015 г.). «Кто эти люди?» Оценка демографических характеристик и политических предпочтений респондентов опроса MTurk». Исследования и политика . 2 (3): 205316801560464. doi : 10.1177/2053168015604648 . ISSN  2053-1680. S2CID  7749084.
  30. ^ аб Клиффорд, Скотт; Джуэлл, Райан М; Ваггонер, Филип Д. (01 октября 2015 г.). «Пригодны ли образцы, взятые из Mechanical Turk, для исследования политической идеологии?». Исследования и политика . 2 (4): 205316801562207. doi : 10.1177/2053168015622072 . ISSN  2053-1680. S2CID  146591698.
  31. ^ Чендлер, Джесси; Розенцвейг, Чески; Мосс, Аарон Дж.; Робинсон, Джонатан; Литман, Лейб (октябрь 2019 г.). «Онлайн-панели по исследованиям в области социальных наук: расширение методов выборки за пределы Mechanical Turk». Методы исследования поведения . 51 (5): 2022–2038. дои : 10.3758/s13428-019-01273-7. ISSN  1554-3528. ПМК 6797699 . ПМИД  31512174. 
  32. ^ Раджпуркар, Пранав; Чжан, Цзянь; Лопырев Константин; Лян, Перси (2016). «SQuAD: более 100 000 вопросов для машинного понимания текста». arXiv : 1606.05250 [cs.CL].
  33. ↑ Стив Зильберман (24 июля 2007 г.). «В поисках высоких технологий для легенды Кремниевой долины». Проводной журнал . Проверено 16 сентября 2007 г.
  34. ^ «AVweb приглашает вас присоединиться к поискам Стива Фоссета» . Avweb.com. 8 сентября 2007 года . Проверено 28 ноября 2011 г.
  35. ^ "Официальные результаты механического турка Стива Фоссета" . 24 сентября 2007 г. Проверено 14 августа 2012 г.
  36. ↑ Джим Кристи (1 октября 2008 г.). «Путешественники находят удостоверение личности и вещи Стива Фоссета» . Рейтер . Архивировано из оригинала 20 декабря 2008 года . Проверено 27 ноября 2008 г.
  37. ^ "Давайте займемся физическими упражнениями" . 5 августа 2008 г.
  38. ^ «Механические игры, спортивное онлайн-видео для туркеров | Neural» . 29 октября 2010 г.
  39. ^ «Тюремные скамейки и Amazon.com в Центральном художественном центре СанТаны | OC Weekly» . Архивировано из оригинала 06 сентября 2015 г. Проверено 16 апреля 2019 г.
    • Проект: http://www.missconceptions.net/mediations/
  40. ^ «Блог веб-сервисов Amazon: Обновление статуса Amazon Mechanical Turk» . Aws.typepad.com. 06 декабря 2005 г. Проверено 28 ноября 2011 г.
  41. ^ «Архив документации: Веб-службы Amazon» . Developer.amazonwebservices.com. Архивировано из оригинала 10 апреля 2009 г. Проверено 28 ноября 2011 г.
  42. ^ «Справочник API Amazon Mechanical Turk» . Developer.amazonwebservices.com.
  43. ^ abcd «Внутри платформы Clickworker Amazon: как полумиллиону людей платят копейки за обучение ИИ». Техреспублика . 16 декабря 2016 г.
  44. ^ Ландерс, Р.Н.; Беренд, ТС (2015). «Могу ли я использовать Mechanical Turk (MTurk) для научных исследований?». Промышленная и организационная психология . 8 (2).
  45. ^ «Внешняя валидность - обобщение результатов исследований». Explorable.com .
    • «Методы социальных исследований - База знаний - Внешняя валидность». www.socialresearchmethods.net .
  46. ^ Коппок, Александр; Липер, Томас Дж.; Маллиникс, Кевин Дж. (04 декабря 2018 г.). «Обобщаемость оценок эффекта гетерогенного лечения по выборкам». Труды Национальной академии наук . 115 (49): 12441–12446. Бибкод : 2018PNAS..11512441C. дои : 10.1073/pnas.1808083115 . ISSN  0027-8424. ПМК 6298071 . ПМИД  30446611. 
  47. ^ Чендлер, Джесси; Розенцвейг, Чески; Мосс, Аарон Дж.; Робинсон, Джонатан; Литман, Лейб (01 октября 2019 г.). «Онлайн-панели по исследованиям в области социальных наук: расширение методов выборки за пределы Mechanical Turk». Методы исследования поведения . 51 (5): 2022–2038. дои : 10.3758/s13428-019-01273-7. ISSN  1554-3528. ПМК 6797699 . ПМИД  31512174. 
  48. ^ Джарон Ланье (2013). Кому принадлежит будущее? . Саймон и Шустер. ISBN 978-1-4516-5497-4.
  49. ^ "Призрачная работа". Работа призрака . Проверено 24 января 2023 г.
  50. ^ Семуэлс, Алана (23 января 2018 г.). «Интернет открывает новый вид плохо оплачиваемого ада». Атлантический океан . Проверено 24 января 2023 г.
  51. ^ Форт, К.; Адда, Г.; Коэн, КБ (2011). «Amazon Mechanical Turk: золотой рудник или угольный рудник?». Компьютерная лингвистика . 37 (2): 413–420. дои : 10.1162/COLI_a_00057 . S2CID  1051130.
    • Уильямсон, Ванесса (январь 2016 г.). «Об этике краудсорсинговых исследований». PS: Политология и политика . 49 (1): 77–81. дои : 10.1017/S104909651500116X . ISSN  1049-0965. S2CID  155196102.
  52. ^ Хортон, Джон Дж. (1 апреля 2011 г.). «Положение класса Тюрк: справедливы ли и честны онлайн-работодатели?». Письма по экономике . 111 (1): 10–12. arXiv : 1001.1172 . doi :10.1016/j.econlet.2010.12.007. ISSN  0165-1765. S2CID  37577313.
    • Мосс, Эй Джей; Розенцвейг, К.; Робинсон, Дж.; Яффе, С.; Литман, Л. (2020). «Этично ли использовать Mechanical Turk для поведенческих исследований? Соответствующие данные репрезентативного опроса участников MTurk и заработной платы». Методы исследования поведения .
  53. ^ "Amazon Mechanical Turk - Ярмарка коллективной работы" . Проверено 24 января 2023 г.
  54. ^ Ипейротис, PG (2010). Анализ рынка механических турок Amazon. XRDS: Crossroads, Журнал ACM для студентов , 17 (2), 16-21.
    • Гейгер, Эбигейл (11 июля 2016 г.). «Исследования в эпоху краудсорсинга, практический пример». Исследовательский центр Пью: Интернет, наука и технологии . Проверено 24 января 2023 г.
  55. ^ Шмидт, Флориан Александр (2013). «Хорошее, плохое и злое: почему краудсорсингу нужна этика». Международная конференция 2013 г. по облачным и зеленым вычислениям . стр. 531–535. дои : 10.1109/CGC.2013.89. ISBN 978-0-7695-5114-2. S2CID  18798641.
  56. ^ Хара, Котаро; Адамс, Эбигейл; Милланд, Кристи; Сэвидж, Саиф; Каллисон-Берч, Крис; Бигэм, Джеффри П. (21 апреля 2018 г.). «Анализ заработков работников Amazon Mechanical Turk на основе данных». Материалы конференции CHI 2018 года по человеческому фактору в вычислительных системах. ЧИ '18. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 1–14. дои : 10.1145/3173574.3174023. ISBN 978-1-4503-5620-6. S2CID  5040507.
  57. ^ Берг, Дж. (2015). Гарантия дохода в экономике по требованию: выводы и политические уроки из опроса краудворкеров. Журнал «Сравнительное трудовое право и политика», 37, 543.
  58. ^ Литман, Лейб; Робинсон, Джонатан; Розен, Зон; Розенцвейг, Чески; Ваксман, Джошуа; Бейтс, Лиза М. (21 февраля 2020 г.). «Сохранение неравенства в оплате труда: гендерный разрыв в оплате труда на анонимном онлайн-рынке труда». ПЛОС ОДИН . 15 (2): e0229383. Бибкод : 2020PLoSO..1529383L. дои : 10.1371/journal.pone.0229383 . ISSN  1932-6203. ПМК 7034870 . ПМИД  32084233. 
  59. ^ «MTurk — наиболее этичный способ найма работников толпы» . Блог | ТёркерВью . 18.11.2019 . Проверено 24 января 2023 г.
  60. ↑ Марвит, Моше З. (5 февраля 2014 г.). «Как краудрабочие стали призраками цифровой машины». www.thenation.com .
  61. ^ Нью-Йорк Таймс (10 апреля 2018 г.). «Cambridge Analytica и грядущий крах данных». Нью-Йорк Таймс . Проверено 13 апреля 2018 г.
  62. ↑ Хэл Ходсон (7 февраля 2013 г.). «Краудсорсинг растет по мере объединения онлайн-работников». Новый учёный . Проверено 21 мая 2015 г.
  63. ^ "Тюркоптикон". turkopticon.ucsd.edu .
  64. ↑ Марк Харрис (3 декабря 2014 г.). «Работники Amazon Mechanical Turk протестуют: «Я человек, а не алгоритм»». Хранитель . Проверено 6 октября 2015 г.
  65. ↑ Фингас, Джон (3 декабря 2014 г.). «Работники Amazon Mechanical Turk хотят, чтобы с ними обращались как с людьми»». Engadget . Проверено 6 октября 2015 г.
  66. ↑ Джеймс Винсент (4 декабря 2014 г.). «Механические туркеры Amazon хотят, чтобы их считали «настоящими людьми»». Грань . Проверено 6 октября 2015 г.
  67. ↑ Сара Кесслер (19 февраля 2015 г.). «ЧТО ВЫГЛЯДИТ ПРОФСОЮЗ В ГИГ-ЭКОНОМИКЕ?». Компания Фаст . Проверено 6 октября 2015 г.
  68. ↑ ab Semuels, Алана (23 января 2018 г.). «Интернет открывает новый вид плохо оплачиваемого ада». Атлантический океан . Проверено 25 апреля 2019 г.
  69. ^ "Яндекс.Толока".

дальнейшее чтение

Внешние ссылки