「機械仕掛けのトルコ人」が社会科学をひっくり返す?

2016/06/15 0:13 に Asako Miura が投稿   [ 2016/06/15 22:28 に更新しました ]

Bohannon, J. (2016). Mechanical Turk upends social sciences: Growing pains arise for researchers using online platform. Science, 352(6291), 1263-1264.

洋の東西でオンライン調査モニタの運用方法が異なることは,三浦・小林(2016)で既報のとおりですが,ここ数年で(特にアメリカで)もっともよく使われているのはAmazon Mechanical Turkです.この莫大な「被験者市場」に飛びつく研究者は数多く,特に心理学でその傾向が顕著です.MTurkerを使った研究がどんどん増える一方で,その質が良いとか悪いとか,あれこれと検証論文が出てもいるので,今更,という感はありますが,やはり天下のScienceに言及されるというのはそれなりに重い意味を持つと思われます.今回は,こうした研究実施に関わる問題を端的にまとめたこの短い論文(というかエッセイ)について紹介します.







MTurkのサービスが開始されたのは6年前.以来,23万もの課題がPC上で実施され,3300万分もが費やされた.2016年5月だけでものべ23000人にのぼる参加者が数千件の社会科学実験に参加した.実験室を訪れることなく.ぐぐすかによれば,MTurkを利用した研究論文は2011年にはわずか61本だったのが,昨年は1200本にもなった.「社会科学・行動科学の革命だ!」とは心理学者Leib Litmanの弁である.

なぜ社会科学者,特に心理学者たちがMTurkに飛びついたかといえば,理由は簡単だ.生身の参加者を数百人,実験に勧誘し,実験室に呼び出し,そしてデータを取る.どんなに頑張っても数週間を要するものだったのが,たった数日で終わるのだ.そう,MTurkを使えば,ね.

しかし当然のことながらそれを危惧する研究者もいる.先月シカゴで開催されたAPSの年次大会では1商業サービスに過度に依存する現状を憂い,「学術研究はAmazonがこのサービスをやめたら息の根を止められてしまう」という発言があった.また,参加者たちが正当な報酬を得ているのか,倫理的に正しく扱われているのか,といった疑問や,匿名のボランティアたちが実際は研究者が期待するほど膨大でも多様でもないのではないか,という疑念も示された.

MTurkを利用する際の問題

(1)インタフェースがしょぼい
デフォルトのプラットフォームのインタフェースTurk Primeは込み入った心理実験をするにはひどくしょぼくて使えない.しかしpsiTurkというフリーのアプリが配布されており,これを使えばかなりのことができるので,スクラッチでプログラムを書かなくてもよい.

(2)実働しているTurkerは意外に少ない
生態学でよく用いられる「捕獲-再捕獲」法を使った検証が行われている.つまり,MTurkは参加者のID情報がとれるので,一度ある実験に参加した人をマーキングしておき,再度同じプールで参加者を募集した際の協力者の中にどれだけ過去の参加者が混ざっているかを検証するのである.もしプールが広く多くの協力者が棲息していればいるほど,再捕獲の確率は下がるはず,という論法である.3年間にわたる114000件の欧米豪研究を用いた英国の心理学者Neil Stewartによる検証によれば,ユニーク参加者は30000人しかいなかったという.これを手がかりに彼らは,1実験あたりの「母集団」は7300人程度であると推定している.MTurkerは50万人を超えているというが,たったのそれだけなのだ.ただし,MTurkerの入れ替わりは激しく,7ヶ月程度で半分がリフレッシュされているという.巨大な州立大学の参加者プールを想像すると,おそらくよく似ている.

(3)そんなに多様な人がいるわけではない
実験参加者の大多数はアメリカ人だし,実際のアメリカ人の分布と比べると,若年層,リベラル,都会居住,単身者に偏っている.そのことがデータに及ぼす影響は少なくないだろう.

(4)十分な報酬が与えられていない
研究者がある程度の資金を投資して実験を実施しても,Amazonのピンハネ率がかなり高い(20-40%)ので,参加者に支払われる報酬はあまり高くない.勢い参加者はたくさんの課題をこなすことになる.特に社会科学系の実験課題は他の課題よりも頭も時間もかかるので,報酬が少なすぎると不平を感じるMTurkerは多い.NYUの心理学者Gureckis氏によれば,実験室実験の参加者には時給8-10ドルは払っているし終了時にボーナスを付与することもあるという.それに比べると時給3ドルとかいいとこ4-8ドルと言われるMTurkerへの報酬は不当に低いと言えるだろう.

(5)倫理的にも守られていない
1つの問題は途中離脱が許されない(途中離脱するとまったく報酬が支払われない)こと.実験室実験であればちゃんと来た人にはある程度の対価が払われる.
もう1つは個人情報管理の問題.MTurkerのIDはAmazon IDと紐付いているので購買情報を取得することもできてしまう.この件について研究者たちは解決すべきと申し出ているがAmazon側は対処するそぶりがない(今回,Science誌からの取材も拒否している).

このように,Amazon Mechanical Turkはさまざまな問題をはらんでいるとはいえ,既に社会科学において欠かせない研究ツールの1つとなっているというのが実状である.研究者たちが自前で自分たち向きのこうした場を作れたらいいのに,と思う.National Science FoundationはAmazonに直接働きかけるべきではないか.やる気なら数百万ドル出しまっせ,と…
Comments