心理学研究における測定誤差
Categories:
以下の論文を読んだ際のメモ。
Schmidt, F. L., & Hunter, J. E. (1996). Measurement error in psychological research: Lessons from 26 research scenarios. Psychological Methods, 1(2), 199–223. https://doi.org/10.1037/1082-989X.1.2.199
論文の概要
心理学の研究における測定誤差の問題に対してどう対処するかを論じたもの。アブストラクトにも書いてあるように，抽象的な測定理論を提示しても多くの研究者の研究実践を改善するには不十分だろうということで，具体的な研究の文脈を提示し，それぞれにおける測定誤差の誤った対処と正しい対処のあり方を議論している。提示される26個の架空の（といってもおそらく今まで出会った著者らが研究を組み合わせたものかな？）研究の例は，組織・産業心理学やパーソナリティ心理学や社会心理学などで尺度を用いた研究が多いが，実験における例なども出てくる。最初の9例が希薄化の修正をしなかったことによって謝った結論を導いてしまうことについて，続く13例が修正に用いる信頼性係数を間違うことによって引き起こされる問題について，残りの4例がより複雑なケースが論じられる。
古い論文といえば古い論文なのでこの後の議論がどう進んでいるかを追う必要があると思うが，希薄化の修正について考えるときの重要文献の一つだと思う。
引用や感想など
[E]ven in articles in which reliabilities are reported, the majority of studies do not use those reliabilities to correct findings for the distortion produced by error of measurement (p.199).
この指摘はとても正しくて信頼性は報告されたらそれで終わりでその後の活用がなされていないのではないかということは感じる。この問題は岡田 (2015)がα係数を信頼性についての「「みそぎ」のための便利な道具（p.80）」と表現していることと同種のものだと思う。
論文のいたるところ（特に後半の研究例の箇所）で，測定に際して生じている誤差の性質（random, specific, transientなものか）についての議論と，それぞれの信頼性係数がどのような誤差を考慮しているかの議論がなされていて大変勉強になる。測定の対象とするものによってによって生じやすい誤差と生じづらい誤差を把握することは信頼性の選択に必要なことだろうと思う。以下の引用では，信頼性の解釈が測定理論のみからは決めることができない点が述べられている（ここら辺の話は帰無仮説有意性検定における危険率とか効果量の実質的な解釈の話と同じことである）。
This scenario [シナリオ17] illustrates the important fact that substantive research findings and cumulative knowledge can modify the interpretation of reliability estimates.Specifically, if enough evidence accumulates that a particular source of measurement error is negligible in a particular domain, then that source can subsequently be ignored for certain purposes. Research evidence indicates that transient error is apparently not very important in the abilities area, especially for general mental ability. (p.215)
ちなみに，希薄化の修正に関連して日本語で議論しているものとしては，南風原 (2002) がある（文脈はSEMに関する討論だけど）。南風原 (2002) は希薄化の修正公式を紹介したのちに以下のように述べている。
しかしながら，希薄化の修正公式は，心理学などの研究論文においてルーチン的に適用され，修正後の値が相関係数のより良い推定値として報告されることはなかった．その理由は，「測定誤差」，「真の得点」，そして「信頼性」という，希薄化の修正公式を構成する要素自体の多義性と関係している．つまり，測定誤差とは何か，どのような要因による変動を誤差変動とみなすのか，という基本的なことが測定の文脈に依存するため，観測値から測定誤差を差し引いたものである真の得点もそれに伴って意味内容が異なってきて，「測定誤差による希薄化を修正して真の得点間の相関を推定する」という作業が一筋縄ではいかなくなるのである．(p.161)
一筋縄ではいかないのであるけれど，測定の文脈ごとに適切な信頼性の選択とそれを用いた修正のあり方について丁寧に議論を積み重ねていくことが重要なのだろうとSchmidt & Hunterの論文を読んでいて思った。
文献
- 南風原朝和 (2002). モデル適合度の目標適合度. 行動計量学, 29, 160–166. doi:10.2333/jbhmk.29.160
- 岡田謙介 (2015). 心理学と心理測定における信頼性について——Cronbachのα係数とは何なのか，何でないのか—— 教育心理学年報, 54, 71–83. doi:10.5926/arepj.54.71