Dans Mechanical Turk, comment vous limitez-vous à un HIT par travailleur?

Je sais de la communication avec Mechanical Turk travailleurs qu'il existe un moyen de limiter le nombre de HITs un travailleur peut compléter, mais je ne peux pas comprendre comment le faire. Toute aide serait grandement appréciée!

source d'informationauteur David Rand

  1. 15

    J'ai développé un script qui la plupart du temps de résoudre ce problème. L'idée principale est de vérifier que le travailleur ID contre une base de données, puis masquer le coup si le travailleur a déjà effectué une relative FRAPPÉ.

    De sorte que vous n'avez pas besoin d'héberger votre propre serveur de base de données, j'ai fait mon script disponible (gratuit) de service à: http://uniqueturker.myleott.com. S'il vous plaît laissez-moi savoir si vous avez des problèmes pour utiliser le script, ou si vous avez des questions ou des suggestions.

    Je suis également, y compris le script ici, dans le cas où vous souhaitez utiliser avec votre propre URL de la base de données. Si vous choisissez cette voie, vous aurez besoin de mettre en place une interface web pour votre base de données qui prend un travailleur ID et renvoie la valeur "1" si le travailleur est autorisé à travailler sur le HIT " et "0" sinon. Ensuite, vous aurez juste à remplacer "YOUR_URL" ci-dessous pour indiquer que l'interface web:

    <script type="text/javascript">
 (function() {
  var assignmentId = turkGetParam('assignmentId', '');
  if (assignmentId != '' && assignmentId != 'ASSIGNMENT_ID_NOT_AVAILABLE') {
   var workerId = turkGetParam('workerId', '');
   var url = 'http://YOUR_URL/?workerId='+workerId;
   var request = new XMLHttpRequest();
   request.open('GET', url, false);
   request.send();
   if (request.responseText != '1') {
    document.getElementById('mturk_form').style.display = 'none';
    document.getElementsByTagName('body')[0].innerHTML = "You have already completed the maximum number of HITs allowed by this requester. Please click 'Return HIT' to avoid any impact on your approval rating.";
   }
  }
 })();
</script>
  2. 5

    Créer un hit c'est vraiment un seul coup, mais l'utilisation de javascript pour modifier dynamiquement le FRAPPER à chaque fois qu'il est affiché. Ensuite, lors de l'affichage de la FRAPPER ensemble "le Nombre d'affectations par coup" pour le nombre de participants que vous le souhaitez. De cette façon, vous obtiendrez uniquement des participants.

    Selon le type d'appel que vous souhaitez exécuter c'est une technique qui pourraient travailler pour vous. Je l'ai utilisé pour générer les stimuli montré aux participants.

  3. 3

    Vous pouvez également le faire avec des questions externes. - Je exécuter la psychologie des expériences sur mechanical turk, j'ai donc besoin des participants. En plus de demander que les travailleurs effectuent uniquement un seul coup, j'utilise un script python pour vérifier l'unicité. Mes HITs tous exécuter un script cgi pour produire de la question. Le script consulte un fichier journal, et si le travailleur a déjà accepté un travail relatif, il poliment les informe que parce que j'ai besoin des participants, le succès ne sera pas disponible.

    J'ai utilisé pour ce faire les qualifications, mais trouve qu'il a vraiment de la participation limitée.

  4. 1

    Voir

    http://docs.amazonwebservices.com/AWSMechanicalTurkRequester/2008-08-02/

    Vous pouvez définir deux types de limites:

    • Le nombre maximum des attributions de tout Travailleur peut accepter pour un HIT type que vous avez créé. Cette valeur est indéfinie jusqu'à ce que vous la définissez.
    • Le nombre maximum des attributions de tout Travailleur peut accepter pour tous vos HITs qui ne sont pas autrement d'un délit spécifique de type limite déjà attribué. La valeur par défaut initiale est de 10.

    Initialement, tous vos résultats sont regroupés avec une limite globale (par défaut 10) pour l'application du groupe, quel que soit FRAPPÉ type.

    Notez que cela fait référence au nombre d'affectations qu'un travailleur peut avoir actuellement acceptées. Une fois que le travailleur a déposé une assignation, ils peuvent recevoir une autre affectation.

    Vous ne devriez probablement pas de soins le nombre d'occurrences d'un travailleur accomplit dans l'ensemble, mais il y a peut être une raison pour laquelle vous souhaitez modifier le numéro un travailleur peut avoir actuellement acceptées à partir de la valeur par défaut 10. Bien sûr, un travailleur ne peut accepter une affectation à partir d'un HIT avec de multiples affectations.

    Si vous avez vraiment, vraiment envie de limiter le nombre de HITs qu'un travailleur peut réellement faire, vous allez avoir besoin de spécifier que vous n'allez pas accepter plus d'un certain nombre par travailleur, indiquant explicitement que vous allez rejeter toute soumission une fois que la limite a été atteinte OU vous pourriez singe avec la qualification types de le faire (mais qui pourrait être beaucoup de travail)!

    Comme un exemple de ce dernier, si vous souhaitez limiter à quelqu'un de faire N total des affectations, vous pourrait une qualification de type pour chaque coup et de ne pas consentir de plus de N types à un travailleur.

  5. 1

    Juste pour préciser si vous souhaitez seulement unique des travailleurs de remplir un seul coup tout ce que vous avez à faire est de mettre le max d'affectations cependant de nombreux travailleurs que vous voulez et le Mechanical Turk, par défaut, attribuer seulement unique des travailleurs à qui a frappé.

    Maintenant, si vous voulez unique des travailleurs à travers de multiples coups, alors vous devez avoir pour obtenir la fantaisie et à l'utilisation externe de question couplé avec un script qui se connecte travailleur id ext...

  6. 1

    Si vous voulez x utilisateurs uniques, le nombre de missions par coup égale à x dans le "Design" de la section. Puis, lors du chargement de votre fichier csv, seulement mis un coup dans le fichier.

  7. 0

    psiTurk (MTurk de comportement de recherche de l'app) automatiquement empêche les travailleurs de répéter les Coups en utilisant une approche similaire à @david-l. Divulgation: je suis l'un des développeurs sur le projet.