回答者の「手抜き」は見逃さない?:Satisfice検出方法あれこれ

2016/04/22 0:02 に Asako Miura が投稿   [ 2016/05/31 21:43 に更新しました ]
 質問紙調査は有力な心理学のデータ収集技法のひとつです.そもそも実験や観察などと比較すると一斉に多くのデータを取得できることに加えて,Web調査環境であればさらに簡便に大量の,しかもオンライン調査会社のモニタを使えば一般性の高いサンプルががっぽがっぽと手に入る.なんてすばらしい!というわけで,日本では「調査会社のモニタを使ってWeb調査をする」研究が急増しました.それ自体は悪いことではないと思いますが,便利さにかまけて調査という方法特有の問題や回答状況の問題など,特にデータに瑕疵をつくる可能性のあるポイントを看過すると,
Garbage In, Garbage Out.
になってしまいかねません.そのため,なるべく「良い」データがとれるように研究者は工夫を凝らすわけですが,特にここでは,回答者の「手抜き」を検出するためのあれやこれやを,三浦・小林(in press)で用いた項目を手がかりにしてまとめてみます.

 三浦・小林(2016b;in press)は,どんな検出項目がよりよく「手抜き」を予測するのかを予測することを目的として行われたものですが,Maniaci, & Rogge (2014)のいわば本歌取りです. 彼らの研究(論文輪読ゼミレジュメ)は,不注意回答が研究課題やデータの質,相関分析,実験操作,そして検定力の維持に及ぼす悪影響を検証しています.その結果から示されたのは,とても不注意な回答をしているのは回答者の3~9%であること,不注意な回答者の自己報告データはきわめて質が悪く,実験操作の効果や重要な回帰分析の結果を曖昧にさせるに十分であったこと,また,不注意回答者を除外することによって,検定力は向上し,不注意が原因の効果サイズの落ち込みを緩和することができること,などでした.例えばTable 6 (p. 71)はBigFiveの因子ごとのα係数を「手抜き」の有無で比較していますが,こんなにひどいことになるのか,ということが実感できるでしょう.
 この研究は,非常に凝った研究をたくさん重ねていて「すごい」ので,とてもすべてを真似することはできなかったのですが,われわれは大学生を対象にして,彼らの用いた不注意検出用項目をなるべく豊富に盛り込んだWeb調査を設計し,関学を初めとする全国の大学9校で実験的調査を行いました.検出指標は以下のとおりです.
  • ARS (Inconsistency) 例えば「私は活動的な生活を送っている」と「私は活動的な人間だ」への回答値の差分をとる.差分が大きいと「一貫した回答をしていない」
  • ARS (Infrequency) 例えば「人には好かれるより嫌われたい」や「スピード違反の切符を切られるのは嫌だ」への回答値と「まったくあてはまらない」や「よくあてはまる」との差分をとる.差分が大きいと「普通はそう答えるはずの答え方をしていない」
  • DQS 選択肢指定
  • 単語発見課題 刺激文中に含まれる特定のカテゴリの語(ここでは都道府県名)を数えて正解との差分を取る.
加えて,認知欲求と調査協力動機も尋ね,最後に動画視聴後に内容に関するクイズを出題する課題を出して,動画視聴時間を測定しました.視聴時間が短いほど「手抜き」していることになります.

 さて,本来のこの研究の目的は,大学生サンプルの「手抜き」傾向を多様な指標で測定し,そういった傾向を示す個人をなるべく効率的かつ正確に検出する有効な技法を探索することだったのですが,その意味においてはほとんど null result でした.というのも,「手抜き」をする回答者の割合がとても低かったのです.そして,最後のクイズがおそらく難しすぎたこともあり,「手抜き」の程度から正解/不正解をうまく予測することはできませんでした.協力動機はとても外発的だったのですが,だからといってそれが「手抜き」につながっていなかったわけで,オンライン調査会社のモニタの行動から類推される「ともかく金目当て.データがどうだろうと知らない」という態度とは随分違う結果が得られました.

 この研究では,「大学生は大学教員から依頼を受けた調査ではほとんど手抜きしない」ことが示されたわけですが,このように,少なくとも日本のWeb調査に限って言えば,こうした「手抜き」の程度は,そもそも調査対象者のリソースをどこに求めるかで,かなり違うことが分かっています.これについては,詳しくは三浦・小林(2016a)をご覧下さい.Amazon Mechanical Turkなど,カリカリに最適化された「Worker」をたくさん抱えたところと,日本のオンライン調査会社を同等だと考えると,ひどい目に遭います.そして,そのことをあからさまに論文に書くと,これまた「ひどい目」に遭いますw

References:
Maniaci, M. R., & Rogge, R. D. (2014). Caring about carelessness: Participant inattention and its effects on research. Journal of Research in Personality, 48, 61-83.
三浦麻子・小林哲郎 (2016; in press). オンライン調査におけるSatisficeを検出する技法:大学生サンプルを用いた検討 社会心理学研究, 32(2).
Comments