MTurkは,きちんとスクリーニングをし,ネットの向こう側にいる人がどういう環境で回答しているかに思いを馳せて使いなさい

2013/11/18 18:00 に Asako Miura が投稿   [ 2014/06/08 19:04 に更新しました ]
Goodman, J. K., Cryder, C. E., & Cheema, A. (2013). Data Collection in a Flat World: The Strengths and Weaknesses of Mechanical Turk Samples. Journal of Behavioral Decision Making, 26, 213-224. doi: 0.1002/bdm.1753.

「機械仕掛けのトルコ人(MTurk)」はAmazon.comが運営するオンライン労働システムで,素早く簡単に安価でオンライン研究参加者を供給してくれる.MTruk利用の拡大に伴い,研究者たちから信頼性や報酬の低さに疑義が呈されるようになってきた.本論文では,MTurkを用いた最近の研究をレビューし,一連のパーソナリティ次元や古典的な意思決定バイアスについてMTurk参加者とコミュニティ/学生サンプルを比較した.2つの研究から,MTurk参加者と伝統的なサンプルの間には多くの類似性が認められたが,重要な違いも見いだされた.例えば,MTurk参加者は実験材料に注意を払いにくく,検定力が減じていた.彼らはインターネットを使って答を探そうとしやすく,その傾向は正答に特段のインセンティブがない場合でも同様だった.MTurk参加者の金銭に対する態度はコミュニティサンプルとは異なっていたが学生サンプルとは変わらなかった.最後に,MTurk参加者は他のサンプルよりも外向性や自尊心が低く,いろいろな研究に積極的に参加しようとする傾向が強かった.こうした違いはあるものの,MTurk参加者は標準的な意思決定バイアスと一貫した信頼できる結果―利得についてはリスク回避,損失についてはリスク追求,遅延/促進の非対称性,確実性効果といったバイアス―を示していたし,効果サイズは他のサンプルと有意差がなかった.結論として,MTurkはデータ収集に際して価値の高い機会を提供するものであり,利用する研究者には,(1)注意や言語理解力を測定するスクリーニング設問を含む,(2)事実回答をさせる質問を避ける,(3)社会経済状況の個人差が結果に影響する程度を考慮する,ことが推奨される.
Comments