 Garbage In, Garbage Out. になってしまいかねません．そのため，なるべく「良い」データがとれるように研究者は工夫を凝らすわけですが，特にここでは，回答者の「手抜き」を検出するためのあれやこれやを，三浦・小林(in press)で用いた項目を手がかりにしてまとめてみます． 三浦・小林(2016b；in press)は，どんな検出項目がよりよく「手抜き」を予測するのかを予測することを目的として行われたものですが，Maniaci, & Rogge (2014)のいわば本歌取りです． 彼らの研究（論文・輪読ゼミレジュメ）は，不注意回答が研究課題やデータの質，相関分析，実験操作，そして検定力の維持に及ぼす悪影響を検証しています．その結果から示されたのは，とても不注意な回答をしているのは回答者の3～9%であること，不注意な回答者の自己報告データはきわめて質が悪く，実験操作の効果や重要な回帰分析の結果を曖昧にさせるに十分であったこと，また，不注意回答者を除外することによって，検定力は向上し，不注意が原因の効果サイズの落ち込みを緩和することができること，などでした．例えばTable 6 (p. 71)はBigFiveの因子ごとのα係数を「手抜き」の有無で比較していますが，こんなにひどいことになるのか，ということが実感できるでしょう． この研究は，非常に凝った研究をたくさん重ねていて「すごい」ので，とてもすべてを真似することはできなかったのですが，われわれは大学生を対象にして，彼らの用いた不注意検出用項目をなるべく豊富に盛り込んだWeb調査を設計し，関学を初めとする全国の大学9校で実験的調査を行いました．検出指標は以下のとおりです．
加えて，認知欲求と調査協力動機も尋ね，最後に動画視聴後に内容に関するクイズを出題する課題を出して，動画視聴時間を測定しました．視聴時間が短いほど「手抜き」していることになります． さて，本来のこの研究の目的は，大学生サンプルの「手抜き」傾向を多様な指標で測定し，そういった傾向を示す個人をなるべく効率的かつ正確に検出する有効な技法を探索することだったのですが，その意味においてはほとんど null result でした．というのも，「手抜き」をする回答者の割合がとても低かったのです．そして，最後のクイズがおそらく難しすぎたこともあり，「手抜き」の程度から正解/不正解をうまく予測することはできませんでした．協力動機はとても外発的だったのですが，だからといってそれが「手抜き」につながっていなかったわけで，オンライン調査会社のモニタの行動から類推される「ともかく金目当て．データがどうだろうと知らない」という態度とは随分違う結果が得られました．  この研究では，「大学生は大学教員から依頼を受けた調査ではほとんど手抜きしない」ことが示されたわけですが，このように，少なくとも日本のWeb調査に限って言えば，こうした「手抜き」の程度は，そもそも調査対象者のリソースをどこに求めるかで，かなり違うことが分かっています．これについては，詳しくは三浦・小林(2016a)をご覧下さい．Amazon Mechanical Turkなど，カリカリに最適化された「Worker」をたくさん抱えたところと，日本のオンライン調査会社を同等だと考えると，ひどい目に遭います．そして，そのことをあからさまに論文に書くと，これまた「ひどい目」に遭いますｗ References: Maniaci, M. R., & Rogge, R. D. (2014). Caring about carelessness: Participant inattention and its effects on research. Journal of Research in Personality, 48, 61-83. 三浦麻子・小林哲郎 (2016; in press). オンライン調査におけるSatisficeを検出する技法：大学生サンプルを用いた検討 社会心理学研究, 32(2). |
みんなの鯖缶（大学院ゼミ） > Ça va? PsychSci >