Запуск MTurk HIT на внешнем веб-сайте

Я создаю веб-сайт, на котором вербованные работники MTurk будут выполнять задачи. Я планирую нанимать работников, используя задачи MTurk, с помощью которых я перенаправлю их на внешний сайт для реальной работы. У меня есть следующие вопросы, касающиеся этого плана.

Is there any foreseeable problems with this approach of running HITs? If so, how can we mitigate them?

how should I implement the authentication procedure on my external site? For example, how can I make sure the people who come to the website to perform a specific task are indeed the same group of people recruited earlier for this particular task on MTurk?

when the workers finish the task, how should I integrate the payment procedure with MTurk based on their performance? For example, say worker is owed $3 after finishing the task on my external site, is it possible for me to tell MTurk to pay him/her this amount programmatically?

Внешний сайт будет построен с использованием Python, если такие детали имеют значение.

Будем весьма благодарны за любые предложения и комментарии, основанные на вашем опыте и взглядах на использование MTurk!

 Jonathan20 мая 2015 г., 02:52
Вы можете попробоватьTurkPrime.com который предлагает многие, если не все, функции, которые вам нужны
 MLister23 июн. 2012 г., 17:48
@DavidJames, спасибо за ваш ответ, и он определенно содержит несколько полезных моментов. Я также узнал о подходе кода подтверждения из других источников, и пойдем с этим. Труднее получить идентификатор работника, но я подозреваю, что могу сделать это, используя некоторый Javascript, чтобы получить его со страницы запроса ...

Ответы на вопрос(2)

PsiTurk чтобы быть полезным: «PsiTurk» - это открытая платформа для проведения пользовательских бихевиористских экспериментов на Amazon Mechanical Turk. ... Он предназначен для предоставления большинства базовых механизмов, необходимых для проведения эксперимента. Он использует HIT-тип внешнего вопроса AMT, что означает, что вы можете собирать данные с любого веб-сайта. Пока вы можете превратить свой эксперимент в веб-сайт, вы можете запустить его с помощью PsiTurk! & Quot;

 20 мая 2015 г., 02:50
Вы можете попробоватьTurkPrime.com который предлагает многие, если не все, функции, которые вам нужны

л как рабочий. Вот мой план, надеюсь, он вам пригодится. (Я еще не реализовал его. Он основан на академическом HIT, в котором я принимал участие в качестве рабочего.)

А. Создайте шаблон, который имеет язык что-то вроде:

1. Please open this web site in a new browser window:
   http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste 
   it here: [________]

Б. Создайте несколько случайных токенов для вашего файла данных Mechnical Turk:

1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...

(Сгенерируйте эти токены из своего приложения; необходимо сопоставить их.)

C. Ваше приложение извлекает токен из URL, ищет задачу и выполняет все, что ему нужно. Лично я не беспокоюсь о людях, которые сталкиваются с URL-адресом, поскольку это одноразовый токен.

D. После того как пользователь выполнит задачу на внешнем веб-сайте, внешнее приложение выдает код подтверждения. Код подтверждения должен быть случайным и непрозрачным. Только ваша заявка будет знать, соответствует ли какой-либо конкретный код правильному или неправильному ответу. Фактически, если вы хотите, правильность может даже не быть определена в реальном времени - это может быть результатом агрегации и / или сравнения по нескольким представлениям.

E. Напишите некоторый код для программного взаимодействия. Возьмите токен и код подтверждения, полученные из результата MTurk, и убедитесь, что они совпадают с вашим внешним приложением. Если они не совпадают, отклоните HIT. Если они совпадают, проверьте правильность внешнего приложения и подтвердите или отклоните. Вы могли бы рассмотреть бонусную структуру оплаты.

Итак, чтобы ответить на ваши конкретные вопросы:

I don't anticipate problems with the approach I described. That said, Mechanical Turk is both an art and a science. Perhaps more art. Writing good questions and paying Turkers appropriately is something you have to figure out with a combination of common sense, market research, and experimentation.

See (C) above. A token is designed to only be used once. Use long enough tokens and the probability of collision becomes very low.

See (E) above. The Mechanical Turk Developer Guide is a good place to start.

Пожалуйста, поделитесь своими результатами обратно. Или пусть турки отправят StackOverflow сотни открыток. :)

Заметки:

I'm currently exploring qualification tests. I suspect they can be very useful.

I want to get a Turker's Worker ID in my external application, but I haven't figured that part out yet. I'm reading up on it; for example: Getting workerId by assignmentId

I am thinking about using the ExternalQuestion feature from the API: "... you can host the questions on your own web site using an "external" question. ... A HIT with an external question displays a web page from your web site in a frame in the Worker's web browser. Your web page displays a form for the Worker to fill out and submit. The Worker submits results using your form, and your form submits the results back to Mechanical Turk. Using your web site to display the form gives your web site control over how the question appears and how answers are collected."

 02 мая 2014 г., 03:14
Является ли шаблон, который вы создаете для каждого отдельного хита? Есть ли место для файла данных на mturk или это на моем сервере?
 19 февр. 2014 г., 01:44
Есть ли протокол для случайных токенов и код подтверждения? Это разные вещи?
 19 февр. 2014 г., 02:09
@knk Я предлагаю генерировать случайный код подтверждения для каждого токена и хранить их вместе в базе данных. (Я не уверен, что вы подразумеваете под протоколом.)

Ваш ответ на вопрос