Amazon Mechanical Turk - Amazon Mechanical Turk

Amazon Mechanical Turk
URLwww.mturk.com
Текущее состояниеЖить

Amazon Mechanical Turk (MTurk) это краудсорсинг веб-сайт для предприятий (известных как запрашивающие) для найма удаленных «краудворкеров» для выполнения дискретных задач по требованию, которые компьютеры в настоящее время не могут выполнять. Он эксплуатируется под Веб-сервисы Amazon, и принадлежит Amazon.[1] Работодатели публикуют вакансии, известные как Задачи человеческого интеллекта (HIT), например, определение определенного контента на изображении или видео, написание описаний продуктов или ответы на вопросы, среди прочего. Рабочие, в просторечии известные как Туркеры или же краудворкеры, просматривайте существующие вакансии и выполняйте их в обмен на тариф, установленный работодателем. Для размещения вакансий запрашивающие программы используют открытый интерфейс прикладного программирования (API) или более ограниченный сайт MTurk Requester.[2] По состоянию на апрель 2019 года податели запросов могли зарегистрироваться только из 49 утвержденных стран.[3]

История

Первоначально сервис был задуман Венки Харинараян в патенте США, поданном в 2001 г.[4] Amazon придумал термин искусственный интеллект для процессов, передающих некоторые части компьютерной программы людям, для тех задач, которые выполняются людьми намного быстрее, чем компьютерами. Утверждается, что Джефф Безос был ответственным за концепцию, которая привела к разработке Amazon Mechanical Turk для реализации этого процесса.[5]

Название Механический турок был вдохновлен "Турок ", шахматная игра XVIII века. автомат сделан Вольфганг фон Кемпелен который гастролировал по Европе, победив обоих Наполеон Бонапарт и Бенджамин Франклин. Позже выяснилось, что эта «машина» вовсе не была автоматом, а на самом деле была человеком. шахматный мастер спрятанный в шкафу под доской и контролирующий движения гуманоидного манекена. Точно так же онлайн-сервис Mechanical Turk использует удаленный человеческий труд, скрытый за компьютерным интерфейсом, чтобы помочь работодателям выполнять задачи, которые невозможно выполнить на настоящей машине.

MTurk был публично запущен 2 ноября 2005 г. После его запуска база пользователей Mechanical Turk быстро росла. В период с начала до середины ноября 2005 года были десятки тысяч вакансий, и все они были загружены в систему самой Amazon для выполнения некоторых внутренних задач, требующих человеческого интеллекта. Типы HIT расширились, и теперь они включают расшифровку, оценку, маркировку изображений, опросы и написание.

По сообщениям, в марте 2007 года в более чем 100 странах работало более 100 000 рабочих.[6] В январе 2011 года это число увеличилось до более чем 500 000 зарегистрированных рабочих из более чем 190 стран.[7] В том же году Techlist опубликовал интерактивную карту, на которой указано местонахождение 50 000 сотрудников MTurk по всему миру.[8] К 2018 году исследования показали, что, хотя на платформе в любое время было доступно более 100000 рабочих, активно работали только около 2000 человек.[9]

Легальное положение

В Трудовое право США по словам профессора Мириам Черри, Сент-Луис университет Школа права, "рабочие на Mechanical Turk ничем не отличаются, скажем, от строителей, которые появляются на стройплощадках и работают день или два над проектом. Эти рабочие по-прежнему могут подать иск в соответствии с Законом о справедливых трудовых стандартах для кража заработной платы, даже если они не считаются сотрудниками "по контракту Amazon.[10]

Обзор

Пользователь Mechanical Turk может быть либо «Работником» (подрядчиком), либо «Заказчиком» (работодателем). У сотрудников есть доступ к панели инструментов, которая отображает три раздела: общий заработок, статус HIT и итоги HIT. Рабочие устанавливают свои часы работы и не обязаны выполнять какую-либо конкретную задачу. Amazon классифицирует Рабочих как подрядчики а не сотрудников, и отказывается заполнять формы или платить налоги на заработную плату. Это нацелено на то, чтобы избежать минимальная заработная плата, через некоторое время, и компенсация рабочим. Работники должны указывать свой доход как доход от самозанятости. В 2013 году средняя заработная плата за несколько назначенных микрозадач, если они выполняются быстро, составляет около одного доллара в час, при этом каждая задача в среднем составляет несколько центов.[11] У рабочих может быть почтовый адрес в любой точке мира. Оплату за выполнение задач можно погасить на Amazon.com через подарочный сертификат (подарочные сертификаты являются единственным вариантом оплаты, доступным для иностранных работников, за исключением Индии) или быть позже переведены на банковский счет работника в США.

Запрашивающие могут попросить, чтобы работники соответствовали квалификациям, прежде чем приступить к выполнению задачи, и они могут настроить тест для проверки квалификации. Они также могут принять или отклонить результат, отправленный работником, что влияет на репутацию работника. По состоянию на апрель 2019 года запрашивающие выплачивали Amazon минимальную комиссию в размере 20% от стоимости успешно выполненных работ с увеличенными суммами за дополнительные услуги.[6] Запросы могут использовать API Amazon Mechanical Turk для программной интеграции результатов этой работы непосредственно в свои бизнес-процессы и системы. Когда работодатели создают свою работу, они должны указать

  • сколько они платят за каждый выполненный HIT,
  • сколько рабочих они хотят работать над каждым HIT,
  • максимальное время, в течение которого работник должен работать над одной задачей,
  • сколько времени у рабочих на выполнение работы,

а также конкретные сведения о работе, которую они хотят выполнить.

Расположение туркеров

С момента создания платформы сотрудники в основном находились в США.[12] демографические данные в целом аналогичны общему количеству пользователей Интернета в США.[13]

В 2010 году были введены денежные выплаты для индийских рабочих, что дало новые и обновленные результаты по демографическим характеристикам рабочих, которые остались в основном в Соединенных Штатах.[14] Исследователь, стоящий за этой статистикой, ведет веб-сайт, на котором демографические данные работников обновляются ежечасно. В мае 2015 года он показал, что 80% работников были расположены в Соединенных Штатах, а остальные 20% - в других странах мира, большинство из которых - в Индии.[15] По данным на май 2019 года, примерно 60% работников находились в США, а 40% - в других странах мира; примерно 30% находятся в Индии.[16]

Использует

Человек-субъект исследования

Начиная с 2010 года, многочисленные исследователи выяснили, насколько «Механический турок» может привлекать субъектов для социологических экспериментов. Ежегодно публикуются тысячи статей, основанных на данных, собранных сотрудниками Mechanical Turk, в том числе сотни в ведущих академических журналах.[17] Исследователи в целом обнаружили, что, хотя выборки респондентов, полученные с помощью Mechanical Turk, не полностью соответствуют всем значимым характеристикам населения США, они также не являются дико искажающими.[18][19] По общему мнению исследователей, эта услуга лучше всего подходит для набора разнообразных выборок; он менее успешен в исследованиях, требующих более точного определения совокупностей или требующих репрезентативной выборки населения в целом.[17] Однако есть опасения, что запатентованный алгоритм выбора может нанести ущерб результатам (см .: Обоснованность исследования ).

В целом, население США MTurk состоит в основном из белых и белых женщин и несколько моложе и образованнее, чем население США в целом. Данные, собранные о рабочих местах, выполняемых с 2013 года, показывают, что население США больше не состоит преимущественно из женщин, и что в настоящее время среди работников несколько больше шансов быть мужчинами.[20] Стоимость MTurk была значительно ниже, чем у других средств проведения опросов: работники готовы выполнять задания менее чем за половину минимальной заработной платы в США.[21]

Машинное обучение

Машинное обучение с учителем Алгоритмы требуют для успешного обучения больших объемов аннотированных людьми данных. Исследователи машинного обучения наняли рабочих через Mechanical Turk для создания наборов данных, таких как SQuAD, ответ на вопрос набор данных.[22]

Поиск пропавших без вести

С 2007 года сервис используется для поиска известных пропавших без вести лиц. Впервые это было предложено во время поиска Джеймс Ким, но его тело было найдено до того, как был достигнут технический прогресс. Тем летом компьютерный ученый Джим Грей исчез на своей яхте и Amazon Вернер Фогельс, личный друг, организовал DigitalGlobe, который предоставляет спутниковые данные для Карты Гугл и Гугл Земля, чтобы разместить последние фотографии Фараллонские острова на механической турке. История на первой полосе Digg привлекли 12 000 поисковиков, которые работали со специалистами по визуализации над теми же данными. Поиск не увенчался успехом.[23]

В сентябре 2007 года аналогичная договоренность была повторена в поиск авиатора Steve Fossett. Спутниковые данные были разделены на секции размером 85 квадратных метров, и пользователей Mechanical Turk попросили пометить изображения с «посторонними объектами», которые могут быть местом крушения или другими доказательствами, которые следует изучить более внимательно.[24] Этот поиск тоже не увенчался успехом. Спутниковые снимки были в основном в радиусе 50 миль,[25] но место крушения было в конце концов найдено путешественниками примерно год спустя, в 65 милях от него.[26]

Художественные работы

Помимо растущего интереса со стороны социальных наук, MTurk также использовался как инструмент для художественного творчества. Одним из первых художников, которые работали с Mechanical Turk, был xtine Burrough, с Механическая Олимпиада (2008),[27][28] Бесконечный Ом (2015) и Посредничество в области цифрового труда.[29][30] Другой ранней работой был художник Аарона Коблина Десять тысяч центов (2008).

Стороннее программирование

Программисты разработали различные расширения для браузеров и скрипты предназначен для упрощения процесса выполнения работ. Amazon заявила, что не одобряет скрипты, которые полностью автоматизируют процесс и исключают человеческий фактор. Это связано с тем, что процесс завершения задачи - например, при ответе на опрос - можно обыгрывать случайные ответы, и полученные в результате данные могут оказаться бесполезными.[31] Аккаунты, использующие так называемых автоматических ботов, заблокированы. Есть сервисы, расширяющие возможности MTurk.

API

Amazon предоставляет интерфейс прикладного программирования (API), чтобы предоставить пользователям еще одну точку доступа в систему MTurk. API MTurk позволяет программисту получить доступ к многочисленным аспектам MTurk, таким как отправка заданий, получение выполненной работы, а также утверждение или отклонение этой работы.[32] В 2017 году Amazon запустила поддержку AWS Software Development Kits (SDK), что позволило пользователям MTurk получить девять новых SDK. MTurk доступен через API на следующих языках: Python, JavaScript, Java, .NET, Go, Ruby, PHP или C ++.[33] Веб-сайты и веб-сервисы могут использовать API для интеграции работы MTurk в другие веб-приложения, предоставляя пользователям альтернативы интерфейсу, созданному Amazon для этих функций.

Рабочий-HIT-назначение ER_diagram

Примеры использования

Обработка фото / видео

Amazon Mechanical Turk предоставляет платформу для обработки изображений, что хорошо подходит для человеческого разума. Запрашивающие создали задачи, предлагая работникам пометить объекты, найденные на изображении, выбрать наиболее подходящее изображение в группе изображений, отобразить несоответствующий контент и классифицировать объекты на спутниковых изображениях. Кроме того, краудворкеры выполнили задачи по оцифровке текста с изображений, таких как отсканированные формы, заполненные вручную.[34]

Очистка / проверка данных

Компании с большими онлайн-каталогами используют Mechanical Turk для выявления дубликатов и проверки сведений о позициях. Некоторыми примерами исправления дубликатов являются выявление и удаление дубликатов в списках каталогов на желтых страницах и в записях онлайн-каталогов продуктов. Примеры проверки деталей включают проверку информации о ресторане (например, номер телефона и часы работы) и поиск контактной информации на веб-страницах (например, имени автора и электронной почты).[11][34]

Сбор информации

Диверсификация и масштаб персонала Mechanical Turk позволяют собирать такой объем информации, который был бы затруднен за пределами платформы для массовых пользователей. Механический турок позволяет Запрашивающим собрать большое количество ответов на различные типы опросов, от простых демографических до академических исследований. Другие варианты использования включают написание комментариев, описаний и записей в блогах на веб-сайтах, а также поиск элементов данных или определенных полей в крупных правительственных и юридических документах.[34]

Обработка данных

Компании используют коллектив Mechanical Turk, чтобы понимать и реагировать на различные типы данных. Обычно используется для редактирования и транскрипции подкастов, перевода и сопоставления результатов поисковой системы.[11][34]

Обоснованность исследования

Обоснованность исследования, проведенного с пулом рабочих-механиков, поставлена ​​под сомнение.[35][36] Это во многом связано с запатентованным методом, который Mechanical Turk использует для отбора своих рабочих.[нужна цитата ] Поскольку метод отбора не используется исследователями, исследователи не могут знать истинную демографию участников. Неясно, использует ли Mechanical Turk фискальные, политические или образовательные ограничения в процессе отбора. Это может сделать недействительными любые опросы или исследования, проведенные с использованием пула рабочих Mechanical Turk.[37][38]

Вопросы труда

Механический турок широко критиковался за его взаимодействие с рабочей силой и ее использование. Специалист в области информатики Джарон Ланье отмечает, как дизайн of Mechanical Turk «позволяет вам думать о людях как о программных компонентах», которые вызывают «ощущение магии, как будто вы можете просто извлечь результаты из облака по невероятно низкой цене».[39] Хотя опрос, проведенный исследователями Техасского университета, показал, что опрошенные рабочие были мотивированы удовольствием и самореализацией,[40] эти результаты могли быть искажены алгоритмами выбора работников MTurk. Исследование Pew Research, проведенное в 2016 году, показало, что четверть онлайн-«гигантов», таких как те, кто работает на Mechanical Turk, делают это из-за ограниченных возможностей трудоустройства в местах проживания.[41]

Денежная компенсация

Поскольку задачи, как правило, простые и повторяющиеся, а пользователям часто платят всего несколько центов за их выполнение, некоторые критикуют Mechanical Turk за то, что они эксплуатируют и не компенсируют работникам истинную ценность выполняемой ими задачи.[42] Минимальный платеж, который Amazon допускает за задачу, составляет один цент. Рынок задач является конкурентным, и для некоторых эти задачи являются единственной доступной формой занятости, особенно для менее образованных. Из-за необходимости обеспечивать себя и отсутствия других возможностей многие работники соглашаются на низкую компенсацию за выполнение заданий. Исследование 3,8 миллиона задач, выполненных 2767 рабочими на Amazon Mechanical Turk, показало, что «рабочие получали среднюю почасовую оплату около 2 долларов в час», при этом 4 процента рабочих зарабатывали более 7,25 долларов в час. Поскольку эти работники считаются независимыми подрядчиками, они не защищены Закон о справедливых трудовых стандартах что гарантирует минимальную заработную плату. К 2018 году рост числа рабочих, соревнующихся на сайте, сократил общий объем доступной работы. Когда работники ищут задачи, они не получают ни компенсацию, ни дополнительную компенсацию, если задача занимает больше времени, чем предполагал заказчик.[43]

Мошенничество

Нация В 2014 году журнал сообщил, что некоторые запрашивающие воспользовались Workers, заставив их выполнять задачи, а затем отклонили их заявки, чтобы не платить им.[44]

в Скандал с данными Facebook – Cambridge Analytica, Mechanical Turk был одним из средств тайного сбора личной информации для огромной базы данных.[45] Система платила людям доллар или два за установку Facebook связанное приложение и ответьте на личные вопросы. Задача опроса как работа по найму не использовалась для проекта демографических или психологических исследований, как могло показаться. Вместо этого цель заключалась в том, чтобы заставить работника раскрыть личную информацию о личности работника, которая еще не была собрана Facebook или Mechanical Turk.

Трудовые отношения

Другие критиковали рынок за то, что у рабочих нет возможности вести переговоры с работодателями. В ответ на растущую критику уклонения от оплаты и отсутствия представительства группа разработала стороннюю платформу под названием Turkopticon, которая позволяет работникам оставлять отзывы о своих работодателях, позволяя другим пользователям избегать потенциально сомнительных рабочих мест и рекомендовать более качественных работодателей.[46][47] Другая платформа под названием Dynamo была создана для того, чтобы рабочие могли анонимно собирать данные и организовывать кампании для улучшения своей рабочей среды, включая Руководство для соискателей академических запросов и Кампанию Уважаемого Джеффа Безоса.[48][49][50][51] Amazon усложнила работникам регистрацию в Dynamo, закрыв учетную запись запроса, в которой работникам был предоставлен код, необходимый для членства в Dynamo. Amazon установила обновления, которые не позволяют плагинам, которые определяют высококачественные задачи человеческого интеллекта, работать на веб-сайте.[43] Кроме того, были жалобы работников на то, что платежная система Amazon иногда перестает работать, что является серьезной проблемой для работников, которым требуются ежедневные платежи.[41]

Связанные системы

Дальнейшая информация: Краудсорсинг

MTurk в некоторых отношениях сравним с ныне снятым с производства Google ответы служба. Однако Механический турок - это более общий рынок которые потенциально могут помочь распределить любые рабочие задачи по всему миру. В Коллаборативный переводчик-человек (CHI) Филиппа Ленссена также предложил использовать распределенный человеческий интеллект, чтобы помочь компьютерным программам выполнять задачи, с которыми компьютеры не справляются. MTurk можно использовать как механизм выполнения для CHI.[нужна цитата ]

Российский поисковый гигант Яндекс разработал аналогичную систему под названием Яндекс.Толока.[52]

Смотрите также

Рекомендации

  1. ^ «Amazon Mechanical Turk, страница часто задаваемых вопросов». Получено 14 апреля 2017.
  2. ^ «Обзор | Заказчик | Amazon Mechanical Turk». Requester.mturk.com. Получено 2011-11-28.
  3. ^ «Амазонка Механический турок». www.mturk.com.
  4. ^ «Гибридная машина / компьютерная система человека». 2001. Получено 28 июля 2016.
  5. ^ «Искусственный искусственный интеллект». Экономист. 2006-06-10.
  6. ^ а б «Мтюрк прайс». AWS. Amazon. 2019 г.. Получено 16 апреля 2019.
  7. ^ «Форумы разработчиков AWS». Получено 14 ноября 2012.
  8. ^ Тамир, Дан. «50000 рабочих-механиков со всего мира». технический список. Получено 17 сентября, 2014.
  9. ^ Джеллель, Дифаллах; Филатова, Елена; Ипейротис, Панос (2018). «Демография и динамика рабочих-механиков». Материалы одиннадцатой международной конференции ACM по веб-поиску и интеллектуальному анализу данных: 135–143.
  10. ^ Алана Семуэльс, «Интернет открывает новые возможности для плохо оплачиваемого ада» (23 января 2018 г.) Атлантический.
  11. ^ а б c "Amazon Mechanical Turk: Цифровая потогонная фабрика" Эллен Кушинг Утне Читатель Январь – февраль 2013 г.
  12. ^ Панос Ипейротис (19 марта 2008 г.). "Механический турок: демография". Нью-Йоркский университет. Получено 2009-07-30.
  13. ^ Панос Ипейротис (16 марта 2009 г.). «Демографические данные Тюркера против демографических показателей Интернета». Нью-Йоркский университет. Получено 2009-07-30.
  14. ^ Панос Ипейротис (9 марта 2010 г.). "Новая демография механического турка". Нью-Йоркский университет. Получено 2014-03-24.
  15. ^ «MTurk Tracker». demographics.mturk-tracker.com. Получено 1 октября 2015.
  16. ^ «MTurk Tracker». demographics.mturk-tracker.com. Получено 2 мая 2019.
  17. ^ а б Чендлер, Джесси .; Шапиро, Даниэль (2016). «Проведение клинических исследований с использованием удобных образцов, полученных с помощью краудсорсинга». Ежегодный обзор клинической психологии. 12: 53–81. Дои:10.1146 / annurev-Clinpsy-021815-093623. PMID  26772208.
  18. ^ Кейси, Логан; Чендлер, Джесси; Левин, Адам; Проктор, Эндрю; Сытолович, Дара (2017). «Межвременные различия среди сотрудников MTurk: вариации выборки на основе времени и последствия для сбора данных в Интернете». SAGE Открыть. 7 (2): 215824401771277. Дои:10.1177/2158244017712774.
  19. ^ Левай, Кевин; Фриз, Джереми; Дракман, Джеймс (2016). "Демографический и политический состав образцов механических турок". SAGE Открыть. 6: 215824401663643. Дои:10.1177/2158244016636433.
  20. ^ «Новая новая демография на Mechanical Turk: есть ли еще гендерный разрыв?». TurkPrime.com. Архивировано из оригинал 15 марта 2015 г.. Получено 12 марта 2015.
  21. ^ Хортон, Джон; Чилтон, Лидия (2010). Экономика труда в платном краудсорсинге. Материалы 11-й конференции ACM по электронной коммерции. п. 209. arXiv:1001.0627. Bibcode:2010arXiv1001.0627H. Дои:10.1145/1807342.1807376. ISBN  978-1-60558-822-3. S2CID  18237602.
  22. ^ Хортон, Джон; Чилтон, Лидия; Лопырев, Константин; Лян, Перси (2016). «SQuAD: 100 000+ вопросов для машинного понимания текста». arXiv:1606.05250 [cs.CL ].
  23. ^ Стив Сильберман (24 июля 2007 г.). «В высокотехнологичных поисках легенды Кремниевой долины». Wired журнал. Получено 2007-09-16.
  24. ^ «AVweb приглашает вас присоединиться к поискам Стива Фоссета». Avweb.com. Получено 2011-11-28.
  25. ^ "Официальные результаты Стива Фоссета" Механический турок ". 2007-09-24. Получено 2012-08-14.
  26. ^ Джим Кристи (1 октября 2008 г.). «Путешественники находят удостоверение личности Стива Фоссетта, его вещи». Рейтер. В архиве из оригинала от 20 декабря 2008 г.. Получено 2008-11-27.
  27. ^ "Давайте перейдем к физическому состоянию".
  28. ^ "Mechanical Games, спортивные онлайн-видео для туркеров | Neural".
  29. ^ «Архивная копия». Архивировано из оригинал на 2015-09-06. Получено 2019-04-16.CS1 maint: заархивированная копия как заголовок (связь)
  30. ^ Проект: http://www.missconceptions.net/mediations/
  31. ^ «Блог Amazon Web Services: обновление статуса Amazon Mechanical Turk». Aws.typepad.com. 2005-12-06. Получено 2011-11-28.
  32. ^ «Архив документации: Amazon Web Services». Developer.amazonwebservices.com. Архивировано из оригинал на 2009-04-10. Получено 2011-11-28.
  33. ^ «Справочник по API Amazon Mechanical Turk». Developer.amazonwebservices.com.
  34. ^ а б c d «Внутри платформы кликворкеров Amazon: как полмиллиона человек получают гроши за обучение ИИ». TechRepublic.
  35. ^ Фельдман, Гилад. «Эксперименты с Amazon Mechanical Turk | Гилад Фельдман».
  36. ^ Landers, R.N .; Беренд, Т. С. (2015). "Могу ли я использовать Mechanical Turk (MTurk) для исследовательского исследования?". Промышленная и организационная психология. 8 (2).
  37. ^ «Внешняя валидность - обобщение результатов исследования». explorable.com.
  38. ^ «Методы социальных исследований - База знаний - Внешняя валидность». www.socialresearchmethods.net.
  39. ^ Джарон Ланье (2013). Кому принадлежит будущее?. Саймон и Шустер. ISBN  978-1-4516-5497-4.
  40. ^ Buhrmester, Майкл; Кван, Трейси; Гослинг, Сэм (2011). «Механический турок Amazon - новый источник недорогих, но качественных данных?». Перспективы психологической науки. 6 (1): 3–5. Дои:10.1177/1745691610393980. PMID  26162106. S2CID  6331667.
  41. ^ а б Семуэльс, Алана (23 января 2018 г.). «Интернет открывает возможности для нового вида плохо оплачиваемого ада». Атлантический океан. Получено 25 апреля 2019.
  42. ^ Шмидт, Флориан Александр (2013). «Хорошее, плохое и уродливое: почему краудсорсингу нужна этика». Международная конференция по облачным и экологичным вычислениям, 2013 г.. Облачные и экологичные вычисления (CGC), Третья международная конференция 2013 г.. С. 531–535. Дои:10.1109 / CGC.2013.89. ISBN  978-0-7695-5114-2. S2CID  18798641.
  43. ^ а б Семуэльс, Алана (23 января 2018 г.). "Интернет открывает новый вид плохо оплачиваемого ада". Атлантический океан. Получено 14 мая, 2018.
  44. ^ Марвит, Моше З. (5 февраля 2014 г.). «Как Crowdworkers стали призраками в цифровой машине» - через www.thenation.com.
  45. ^ New York Times (10 апреля 2018 г.). «Cambridge Analytica и грядущий крах данных». Нью-Йорк Таймс. Получено 13 апреля, 2018.
  46. ^ Хэл Ходсон (7 февраля 2013 г.). «Краудсорсинг растет вместе с объединением онлайн-работников». Новый ученый. Получено 21 мая, 2015.
  47. ^ "туркоптикон". turkopticon.ucsd.edu.
  48. ^ Марк Харрис (3 декабря 2014 г.). "'Рабочие Amazon Mechanical Turk протестуют: «Я человек, а не алгоритм»'". Хранитель. Получено 6 октября, 2015.
  49. ^ Джон Фингас (3 декабря 2014 г.). "'Рабочие Amazon Mechanical Turk хотят, чтобы с ними обращались как с людьми'". Engadget. Получено 6 октября, 2015. Журнал Cite требует | журнал = (помощь)
  50. ^ Джеймс Винсент (4 декабря 2014 г.). "'Механические туркеры Amazon хотят, чтобы их признали `` настоящими людьми ''". Грани. Получено 6 октября, 2015.
  51. ^ Сара Кесслер (19 февраля 2015 г.). "КАК СОЮЗ ВЫГЛЯДИТ В ЭКОНОМИКЕ КОНЦЕРНА?". Быстрая Компания. Получено 6 октября, 2015.
  52. ^ «Яндекс.Толока».

дальнейшее чтение

внешняя ссылка