クラウドソーシングサービス,どこがどうなの?

2017/10/12 15:12 に Asako Miura が投稿
Peer, E., Brandimarte, L., Samat, S., & Acquisti, A. (2017). Beyond the Turk: Alternative platforms for crowdsourcing behavioral research. Journal of Experimental Social Psychology, 70, 153-163.

Amazon Mechanical Turkの独り勝ちだったクラウドソーシングサービス利用のデータ収集界隈,しかし登録者はそろそろ頭打ちでみんな実験に慣れてきてしまった.もう刈る草がないぞ,どうしよう,というわけで代替サービスとなりえそうなものとMTurkを比較した研究.今度日本でそれをやった研究を論文化するので,参考のために読みました.比較対象とするサービスすべてで同じ調査で行って,回答行動や回答データを比較した,というわけです.調査内容は,

心理尺度:認知欲求NFC,自尊心RSES
注意チェック項目ACQs
回答者のナイーブさ:「以前別の調査でこの質問に答えたことがあるか?」
大体ロバストな結果が出る意思決定課題:Asian Disease framing effect, Sunk Cost Fallacy, Retrospective Gambler's Fallacy, Quote Attribution question
チーティング課題

で,データを収集したサービスは,MTurkの他,Prolific Academic, Crowd Flower, それにStudy 1では大学のサブジェクトプールも対象としました.比較の結果は以下のようにまとめられます.

  • ProAやCFの参加者はMTurkよりもナイーブで不正直ではない
  • CFは回答率は高いが注意力がいまいちで,MTurkやProAでは再現された意思決定課題の結果が再現されない
  • ProAのデータの質はCFより高く,MTurk並み
  • CFはMTurkより参加者のダイバーシティが高い

MTurkerがカリカリにチューンナップされた人々が多いこと,アメリカとインドのサンプルに偏っていることは,社会心理学のデータ収集にとっては割と深刻な問題だと思いますが,アメリカ人はともかく日本人や欧米人がそれを気にしないのはなぜなんでしょうね.まあ,他に選択肢を思いつかないからですね.
Comments