外的妥当性
外的妥当性（がいてきだとうせい、英: External validity）とは、科学的研究の結論をその研究の文脈外に適用することの妥当性を意味する[1]。言い換えれば、研究の結果を他の状況、人、刺激、時代に一般化または移転できる範囲をいう[2][3]。一般化可能性（Generalizability）とは、研究対象となった集団から得られた研究結果をより広い集団に適用できることを指し、移転可能性（Transportability）とは、得られた研究結果を全く別の対象集団に適用できることを指す[2][4]。それとは対照的に内的妥当性とは、特定の研究の文脈内で導き出された結論の妥当性を意味する。 外的妥当性の数学的分析は、異質な集団間での一般化が可能かどうかの判断と、有効な一般化を生み出す統計的・計算的手法の考案に重要である[5]。 外的妥当性を確立する際、学者は研究の「範囲」を特定する傾向があり、これは研究の理論や主張の適用可能性や限界を指す[2]。これには、研究の対象と、対象が代表する広範な集団を定義することが含まれる[2]。 外的妥当性に影響する要素外的妥当性への脅威とは、特定の研究の調査結果から一般化を行う際に、どのように誤りが生じる可能性があるかを説明するものである[6]。殆どの場合、1つの要因（独立変数）の効果が他の要因に依存する場合に制限される。従って、外的妥当性に対する脅威はすべて統計的交互作用として表現できる[7]。いくつかの例を挙げる。
研究の外的妥当性は内的妥当性によって制限されることに注意が必要である。研究内で行われた因果推論が無効であれば、その推論の他の文脈への一般化も無効となる。 CookとCampbell[8]は、ある集団に一般化する（generalize to）ことと、ある背景因子の異なるレベルにより定義される部分集団全体に一般化する（generalizing across）こととの間に重要な区別をつけた。Lynchは、歴史のスナップショットとして以外には意味のある集団に一般化する（to）ことは殆ど不可能であるが、ある原因がある従属変数に及ぼす影響が 背景因子が異なる部分集団間でどの程度一般化される（across）かを検定することは可能であると主張している。その為には、調査対象の治療効果が1つ以上の背景因子との相互作用によって調整されているか否かを検証する必要がある[7][9]。 妥当性の強化妥当性を低下させる問題の多くは体系的な方法で無力化または中和され、妥当な一般化が可能となる。具体的には、ある母集団から得られた実験結果を「再処理 (re-processed)」または「再較正 (re-calibrated)」することで母集団の違いを回避し、実験が実施できない第二の母集団において有効な一般化を生み出すことができる。PearlとBareinboim[5]は一般化の問題を (1)有効な再較正が可能なもの、(2)外的妥当性が理論的に不可能なもの、の2つに分類した。グラフに基づく因果推論計算を用いて[10]、彼らは有効な一般化を可能にする問題の必要十分条件を導出し、必要な再較正が存在する場合には自動的に生成するアルゴリズムを考案した[11]。これにより外的妥当性の問題はグラフ理論の演習にまで縮小され、一部の哲学者は問題は解決されたと結論付けるに至った[12]。 外的妥当性の問題の重要なバリエーションは、選択バイアス（標本抽出バイアスとも）を扱う。即ち、研究が意図された集団の代表的でないサンプルで実施されたときに生じるバイアスである。例えば大学生に対して実施した臨床試験の結果を、年齢、教育、収入などの属性が一般的な学生の属性と大幅に異なる集団全体に一般化できるか否かを知りたい場合がある。 BareinboimとPearlのグラフに基づく方法は、サンプル選択バイアスを回避できる条件を特定し、これらの条件が満たされると母集団全体の平均因果効果の不偏推定量を作成する。異なる集団間の一般化と サンプリングが不適切な研究からの一般化との主な違いは、集団間の差異は通常、年齢や民族などの既存の要因によって引き起こされるのに対し、選択バイアスは患者が研究から脱落したり負傷の重症度によって患者が選択されたなどの治療後の条件によって引き起こされることが多いという点にある。選択が治療後の要因により左右される場合、バイアスのない推定を確実にするために従来とは異なる再較正法が必要となり、その方法は問題のグラフから容易に得られる[13][14]。 例年齢が治療効果を個人ごとに変化させる主な要因であると判断された場合、サンプルの学生と一般集団の年齢差により、その集団における平均治療効果の推定値が偏る。しかしこのような偏りは、簡単な再重み付け手順で修正できる。学生の部分集団における年齢固有の効果を取り出し、一般集団における年齢分布を用いてその平均を計算する。これにより、一般集団における平均治療効果の不偏推定値が得られる。一方、研究サンプルと一般集団を区別する関連因子がそれ自体、治療によって影響される場合は、別の再重み付けスキームを使用する必要がある。この因子をZと呼び、実験標本のYに対するXのz特異的効果を再び平均し、今度はZに対するXの「因果効果」によって重み付けする。言い換えると、新しい重みは治療X=xが全集団に実施されていたらレベルZ=zを達成したユニットの割合を意味する。この介入確率は、Do微積分[15] を使用して記述されることが多く、一般集団の観察研究から推定できる場合もある。ZとYが交絡している場合、つまりZとYの両方に影響する測定されていない共通因子がある場合でも、得られる推定値はバイアスのないものとなる[16]。 この手法や他の重み付け方式の妥当性を保証する正確な条件は、Bareinboim and Pearl, 2016[16]およびBareinboim et al, 2014[14]で定式化されている。 外的妥当性、内的妥当性、生態学的妥当性多くの研究や研究デザインにおいて、外的妥当性と内的妥当性はトレードオフの関係にある][17][18][19]。内的妥当性を高めようとすると結果の一般化可能性が制限されることがあり、その逆も同様である。このような状況から、多くの研究者が「生態学的に妥当な」実験を求めている。即ち、実験手順が「現実世界」の条件に似ているべきだという意味である。彼らは、人工的に制御され制限された環境に焦点を当てた多くの実験室ベースの研究に生態学的妥当性が欠けていると批判する。外的妥当性と生態学的妥当性は、生態学的に妥当な研究デザインに基づく因果推論の方が人工的に作り出された実験室環境で得られた推論よりも高い一般化可能性が得られることが多いという意味で、密接に関連していると考える研究者もいる。しかしこれもまた、ある集団への一般化（生態学的妥当性に関する懸念と密接な関係がある）と、何らかの背景要因で異なる部分集団全体への一般化との区別に関連している。生態学的に妥当な研究環境で得られた知見の中には殆ど一般化できないものもあり、高度に管理された環境で得られた知見の中にはほぼ普遍的な外的妥当性を主張できるものもある。このように、外的妥当性と生態学的妥当性は独立しており、外的妥当性が有っても生態学的妥当性が無い可能性があり、その逆も同様である。 生態学的に妥当な研究環境で得られた結果の一部は、一般化が困難である場合があり、また、高度に管理された環境で得られた結果の一部は、ほぼ普遍的な外的妥当性を主張する場合があります。したがって、外的妥当性と生態学的妥当性は独立しており、研究は外的妥当性があっても生態学的妥当性がない可能性があり、その逆も同様です。 定性的研究定性的研究のパラダイムにおいて、外的妥当性は移転可能性という概念に置き換えられている。移転可能性とは研究結果を、類似のパラメータ、集団、特性を持つ状況に反映させ得る可能性のことである[20]。 実験にあたって実験はその性質上、外的妥当性が低いと主張する研究者が居る。実験法に従うと、多くの欠点が生じると主張する者も居る。状況を充分に制御して人々を無作為に条件に割り当て外部変数の影響を排除することで、状況はやや人工的になり現実の生活から遠くなる可能性がある。 問題となる一般化は2つに大別できる[3]：
しかしこれらはどちらも、クックとキャンベルの「ある対象集団に（to）一般化する」という概念に関連するものであり、研究された特定の状況とは異なる部分集団や研究対象となった回答者とは何らかの意味で異なる人々に渡って（across）実験から得られた知見の一般化可能性を評価するという、より中心的な課題に関連するものであろう[8]。 実験の批評家は、外的妥当性はフィールド設定（または最低でも現実的な実験室設定）の使用や、回答者の真の確率サンプルの使用によって改善される可能性があることを示唆している。しかし、状況的または個人的な背景因子が異なる部分集団間での一般化可能性を理解することが目的であれば、これらの救済策には、一般的に言われているような外的妥当性を高める効果はない。背景因子×治療の相互作用が存在し、それを研究者が認識していない場合（その可能性が高いと思われる）、これらの研究手法は、外的妥当性の大きなな欠如を覆い隠してしまう可能性がある。産業心理学と組織心理学について執筆しているDipboyeとFlanaganは、1つの現場設定から得られた知見も、1つの実験室設定から得られた知見も、同じように2つ目の現場設定に一般化される可能性は低いと指摘している[21]。このように、フィールド研究はその性質上、外的妥当性が高いとは言えず、実験室研究はその性質上、外的妥当性が低いとは言えない。どちらの場合も、研究された特定の治療効果が、その研究で一定に保たれている背景因子の変化によって変化するか否かに掛かっている。もしある研究が、治療と相互作用しない何らかの背景因子のレベルで「非現実的」であれば、それは外的妥当性に影響しない。実験が何らかの背景因子を非現実的な水準で一定に保ち、その背景因子を変化させれば治療×背景因子の強い相互作用が明らかになった場合にのみ、外的妥当性が脅かされる[7]。 状況を超えた一般化可能性大学で行われる心理学実験の研究は、人工的な状況で行われ、現実の生活に一般化できないという批判を受けることが多い[22][4]。この問題を解決するために、社会心理学者は研究をできるだけ現実的なものにすることで、結果の一般化可能性を高めようとしている。上述したように、これはある特定の集団に一般化することを期待してのことである。現実性そのものは、設定が何らかの形でより現実的であった場合、あるいは研究参加者が別の現実的な設定に置かれた場合に、結果が変わるか否かについての記述には役立たない。1つの設定しか検証していない場合、設定間の一般化可能性について述べることは不可能である[7][9]。 しかし、多くの著者は外的妥当性と現実性を混同している。 実験が現実的である方法は一つではない：
実験が現実の状況に類似している度合いを、実験の日常的現実性と呼ぶ[22]。 それよりも、実験で引き起こされる心理的プロセスが日常生活で起こる心理的プロセスにどれだけ似ているかという、心理学的現実性の高さを保証することが重要である[23]。 心理学的現実性は、人々が実際の出来事に夢中になっていると感じることで向上する。これを達成するために、研究者は被験者にカバーストーリー（研究の目的を偽って説明すること）を話すことがある。逆にもし実験者が参加者に実験の目的を話すとしたら、心理的現実性が低下する。非日常的状況の場合、日常生活では緊急事態がいつ起こるか誰にも判らないし、それに対する対応を計画する時間もない。つまり引き起こされる心理的プロセスの種類は実際の緊急事態のそれとは大きく異なり、研究の心理的現実性がを低下する[3]。 人は、なぜ自分がそのような行動をとるのか、あるいは実際に行動するまで何をするのかを必ずしも理解している訳ではない。そのため、実験状況を被験者に説明し通常の反応を求めると、実際に同じ状況にいる人々の行動と一致しない反応が返ってくる可能性がある。仮想的な状況で人々が何をするかという予測に頼ることはできない。現実世界で起こるのと同じ心理的プロセスを誘発する状況を構築して初めて、人々が実際に何をするかを知ることができる。 人々を超えた一般化可能性社会心理学者は、一般的に人々が社会的影響を受けやすいことを研究している。幾つかの実験では、社会的影響力の予想外で興味深い例が記録されている。他人が居ることを知るだけで、人が手助けをする可能性が低くなるというものである。 実験結果が特定の集団の行動を反映していると確信する唯一の方法は、参加者をその集団から無作為に選ぶことである。社会心理学の実験では無作為にサンプルを選ぶのは非現実的でコストがかかるため、実験では、調査のようにサンプルを無作為に選ぶことはできない。政治的世論調査の一環として、無作為抽出した人々に電話で数問の質問に答えることに同意させるのは充分に困難であり、そのような世論調査の実施には数千ドルの費用がかかる。さらに、どうにかして真に無作為なサンプルを集めることが出来たとしても、実験的処置の効果には観察されない異質性が存在する可能性がある..。ある処置は、あるサブグループにはプラスの効果を齎すが、他のサブグループにはマイナスの効果を齎すことがある。治療平均で示された効果は、どのサブグループにも一般化されるとは限らない[7][24]。 多くの研究者は、人々が社会的影響を受け易くなる基本的な心理的プロセスを研究することでこの問題に取り組んでいる。これらのプロセスは非常に基本的なものであり、普遍的に共有されていると想定されている。一部の社会心理学的プロセスは文化によって異なるものもあり、そのような場合には、多様な人々のサンプルを研究しなければならない[25]。 再現性実験の外的妥当性の究極のテストは、再現実験である。通常、異なる被験者集団や異なる環境で、再度研究を行う。研究者はしばしば異なる方法を用いて、それでも同じ結果が得られるかどうかを確認する。 一つの問題について多くの研究が行われた場合、その結果は様々である。幾つかの研究では、傍観者の数が援助行動に及ぼす影響が見られるかもしれないが、そうでないものもある。これを理解するために、2つ以上の研究の結果を平均化して独立変数の効果の信頼性を調さする為のメタ分析と呼ばれる統計手法がある。メタ分析は本質的に、多くの研究結果にわたる所見が偶然に起因するのか、独立変数に起因するのかの確率を示す。もしある独立変数が20の研究のうち1つのみで効果を持つことが発見されたなら、メタ分析では、その1つの研究が例外であり、平均して独立変数は従属変数に影響を与えないことを示唆するであろう。独立変数が殆どの研究で効果を上げている場合、メタ分析では平均してそれが従属変数に影響を与えていると判定される。 実験室に限定されない、信頼できる現象が存在する可能性がある。例えば、傍観者の数を増やすと子供、大学生、将来の牧師[25]など、多くの種類の人々の援助行動が抑制されることがわかっている。イスラエル[26]、米国の小さな町や大都市[27]、心理学実験室、街の通り、地下鉄の電車[28]などのさまざまな環境における、発作、潜在的な火災、喧嘩、事故などのさまざまな種類の緊急事態[29]、タイヤのパンクなどのそれほど深刻ではないイベント[30]でも同様である。これらの再現の多くは、人々が実験が行われていることを知り得ないような現実の環境で行われている。 社会心理学者の基本的ジレンマ心理学で実験を行う場合、内的妥当性と外的妥当性は常にトレードオフの関係にあるという説がある。
外的妥当性を高める良い方法は、フィールド実験を行うことだと考える研究者もいる。フィールド実験では、実験室外、自然な環境で人々の行動が研究される。フィールド実験は、現実の環境で行われることを除けば、実験室での実験とデザインは同じである。フィールド実験の参加者は、自分たちが経験している出来事が実は実験であることに気付かない。このような実験は、現実の世界で典型的な大学生サンプルよりも多様な実在の人々とともに行われるため、外的妥当性が高いと主張する人もいる。しかし、実世界の環境は大きく異なるため、ある実世界の環境で得られた知見が、別の実世界の環境で一般化される場合もあれば、そうでない場合もある[21]。 内的妥当性も外的妥当性も、一つの実験では捉えられない。一部の社会心理学者はまず内的妥当性を選び、人々を異なる条件に無作為に割り付け、すべての外的変数を制御した実験室実験を行う。他の社会心理学者は、外的妥当性をコントロールすることを好み、研究のほとんどを実地調査で実施する。両方の研究を合わせると、完璧な実験の条件を満たしていることになる。再現研究によって、研究者は与えられた研究課題を、最大限の内的・外的妥当性をもって研究することができる[31]。 関連項目出典
|
Portal di Ensiklopedia Dunia
