68–95–99.7則

正規分布近似において平均から1σ(プラスマイナス標準偏差)範囲には約68%の要素が含まれ、2σ範囲には約95%、3σ範囲には約 99.7%が含まれる。図内のパーセンテージは丸められた値である。
標準化した残差z(横軸)と、事象が生じる間隔の期待値(縦軸・対数軸)。

統計学における68–95–99.7則: 68–95–99.7 rule)とは、正規分布において、平均値を中心とした標準偏差の2倍、4倍、6倍の幅に入るデータの割合の簡略表現である。より正確には、68.27%、95.45%、 99.73%である。

数学的には、平均 μ で標準偏差 σ正規分布に従う確率変数 X は以下の式に従うことが述べられている。

経験論的には、いわゆる「3シグマのルール」や「千三ツの法則」と呼ばれるものであり、ほぼすべての値が平均の3標準偏差以内にあるという従来のヒューリスティックを表している[1]。このヒューリスティックの便利さは置いている仮定に非常に大きく左右される。社会科学においては、2σ以上外れた値(95%信頼区間の外)が「有意」とされ、素粒子物理学の分野では、5σ (99.99994%信頼区間の外)が「発見」に必要だとされている。

「3シグマのルール」では正規分布に従わない場合でも、少なくとも、88.8%のデータは μ±3σ の範囲内に入る。これは、チェビシェフの不等式(kσの外にはたかだか1/k2 のデータしか存在し得ない)から導かれる。単峰分布の条件を加えると、±3σの区間に入るのは少なくとも95%になる。ほかの特定の前提のもとでは98%まで上がる[2]

累積分布関数

平均が0、標準偏差が1である正規分布の累積分布関数

“68%, 95%, 99.7%” は標準正規分布の累積分布関数に由来している。

任意の標準化変量z の予測区間は、(1−(1−Φµ,σ2(z))·2)に対応する。

例えば2σを考えると、Φ(2) ≈ 0.9772もしくはPr(Xμ + 2σ) ≈ 0.9772は、観測値が μ + 2σ 以下である確率に対応し、さらに観測値が平均値から±2σの範囲に含まれる確率は(丸め誤差を含むが)、(1 − (1 − 0.97725)·2) = 0.9545 = 95.45%に対応する。別の表記を用いると

と計算できる。

これは統計で使用される95%信頼区間に関連している。 は近似的に95%信頼区間になる(ただし n サンプルの平均値を  とする)。

正規性検定

“68–95–99.7 則” は、母集団が正規分布であると仮定した場合に、大まかな確率を素早く推定するためによく用いられる。また、母集団を正規分布と仮定した場合の外れ値の単純な検定や、また母集団が正規分布ではない可能性がある場合には正規性検定としても使用される。

それらを行うにはまずデータを標準化する必要がある。その手順はまず平均・標準偏差を計算し、標本の値から平均を引くことで残差を計算する。そして、残差を標準偏差で割ることで標準化する。

外れ値の検定や正規性の検定に用いる場合、標準偏差とその範囲に存在するデータの割合を比較する。標本のスチューデント化残差を計算し、正規分布でのデータの割合の期待値と比較する。(標本のサイズが十分大きい場合を除き、極端なデータとされるため)3σ以上の残差を持つデータは外れ値とされることが多い。平均から3σ以上に多くのデータがある場合正規分布ではないと疑われやすい。また、この考え方は4σ以上離れている場合より顕著である。

より正確には、ポアソン分布を用いて与えられた大きさ以上の残差のデータ数を近似して計算できるが、1000点の標本に4σ以上の残差を持つデータが複数ある場合、外れ値と考えるか、正規性に疑問を呈する強い理由となる。

例えば、6σのデータは約2億分の1の確率に相当する。事象が毎日発生する場合、このデータは140万年に一度しか生じないデータに対応する。つまり、とある日のデータで6σが観測され、その観測期間が100万年を大幅に下回る場合、正規分布は良いモデルを提供しない可能性が高いといえる。

ナシム・ニコラス・タレブは著書 The Black Swan の中で、ブラックマンデーの暴落が36σの事象に対応するというリスクモデルの例を示している。そのようなイベントが発生すると、モデルに欠陥がある、つまり、正規分布によるモデル化は適切でないことが即座に示唆され、その場合、確率的ボラティリティモデルなどのより洗練されたモデルを検討する必要がある。このような議論では、まれな出来事をたったひとつ観測しただけでは、そのような事実はまれであるということに矛盾しないというギャンブラーの誤謬の問題を認識することが重要である[要出典]。まれであるとされる事象を複数観察すると、「その事象がまれである」という仮説、つまり想定されたモデルの妥当性が次第に損なわれる。仮説の信頼性が徐々に失われるこのプロセスを適切にモデル化するには、仮説自体だけでなく、考えられるすべての代替仮説に対して事前確率を指定する必要がある場合もある。このため、統計的仮説検定は、可能性が高いと考えられる仮説を確認するのではなく、可能性が低いと考えられる仮説を反駁することによって機能する。

数値データの表

正規分布は裾野において指数関数的に確率は減少するため、残差の大きなデータは指数関数的に減少する。標準正規分布に従う1日に一回起きる事象は、統計的には以下の表に示す頻度で生じる。

範囲 範囲内に含まれる割合の期待値 範囲外に含まれる割合の期待値の近似 生じる頻度の近似
μ ± 0.5σ 0.38292492254802621... 2/3 週に4度
μ ± σ 0.68268949213708590... 1/3 週に2度
μ ± 1.5σ 0.86638559746228387... 1/7 週に1度
μ ± 2σ 0.95449973610364159... 1/22 3週間に1度
μ ± 2.5σ 0.98758066934844773... 1/81 四半期に1度
μ ± 3σ 0.99730020393673981... 1/370 1年に1度
μ ± 3.5σ 0.99953474184192895... 1/2149 6年に1度
μ ± 4σ 0.99993665751633376... 1/15787 43年に1度 (一生に2度)
μ ± 4.5σ 0.99999320465375054... 1/147160 403年に1度
μ ± 5σ 0.99999942669685624... 1/1744278 4776年に1度
μ ± 5.5σ 0.99999996202087507... 1/26330254 72090年に1度(ホモ・サピエンス時代に3度)
μ ± 6σ 0.99999999802682471... 1/506797346 138万年に1度(ヒト属が生まれてから2度)
μ ± 6.5σ 0.99999999991967999... 1/12450197393 3400万年に1度 (恐竜の絶滅から2度)
μ ± 7σ 0.99999999999744037... 1/390682215445 10億7000万年に1度(地球の歴史で4度)
μ ± xσ

脚注

  1. ^ this usage of "three-sigma rule" entered common usage in the 2000s, e.g. cited in Schaum's Outline of Business Statistics. McGraw Hill Professional. (2003). p. 359none , and in Grafarend, Erik W. (2006). Linear and Nonlinear Models: Fixed Effects, Random Effects, and Mixed Models. Walter de Gruyter. p. 553 
  2. ^ 以下を参照:
    • Wheeler, D. J.; Chambers, D. S. (1992). Understanding Statistical Process Control. SPC Press. ISBN 9780945320135. https://books.google.com/books?id=XvMJAQAAMAAJ 
    • Czitrom, Veronica; Spagon, Patrick D. (1997). Statistical Case Studies for Industrial Process Improvement. SIAM. p. 342. ISBN 9780898713947. https://books.google.com/books?id=gEpkYxwDbvgC&pg=PA342 
    • Pukelsheim, F. (1994). “The Three Sigma Rule”. American Statistician 48 (2): 88–91. doi:10.2307/2684253. JSTOR 2684253. 

関連項目

外部リンク

Prefix: a b c d e f g h i j k l m n o p q r s t u v w x y z 0 1 2 3 4 5 6 7 8 9

Portal di Ensiklopedia Dunia

Kembali kehalaman sebelumnya