MTurker×コンジョイントは無敵┏(*'ω' )┛

2018/02/01 16:52 に Asako Miura が投稿   [ 2018/02/01 17:03 に更新しました ]
Bansak, K., Hainmueller, J., Hopkins, D. J., & Yamamoto, T. (2018). The Number of Choice Tasks and Survey Satisficing in Conjoint Experiments. Political Analysis, 26, 112-119.

Web調査のsatisficingに関する研究.ポリサイ勢やマーケティング系の方々がよく使うコンジョイント分析(拡張版一対比較法のようなもの.図参照)をウェブでやるとき,どのくらい延々やっても大丈夫かを,実際に延々とやらせて検討したという,satisficingの研究の中でもかなり意地悪な研究.MTurkで5回,SSI(という日本にも法人があるらしい,この論文ではよく使われる的なことが書かれていたが,少なくとも社会心理学系ではあまり見ない)という調査会社パネルで1回,いろいろ条件を変えつつ,大統領選挙でどちらに投票するか?に関する7属性2水準の課題を30回をやらせて,主要2属性(所属政党と学歴)の効果サイズや決定係数の推移を見ている.謝礼は1.25ドル.安い.
MTurkでとった5回をまとめた結果としては,1回目がさすがにもっとも良いが,自然減は驚くほど少なく,ちゃんとしてました,とのこと.調査会社パネルでもほぼ同様.馴れていない人なら話は別かもしれないが,MTurker×コンジョイントの組み合わせは相当やらせてまくっても無敵┏(*'ω' )┛らしい.ただ,付録も含めてざっと読む限り離脱率の報告はないので「鬼課題でも最後までやり通す連中はsatisficingしない」ということだろう.それがいいか悪いか,まあサーベイ実験ならダメではないか… おそらく日本では(Web調査会社は当然のことながら)クラウドでもこうはいかないと思うので,MTurkerの奴隷っぷりがどこからどう来ているのかは気になるところです.

派生して,最近某山彦クラウドの調査協力で,意味を解読するのが困難な調査に一生懸命答えたのに報酬を獲得できない事例が複数あって納得がいかない,と某参加者がおかんむりでした.
Comments