広く使える情報量規準

広く使える情報量規準（ひろくつかえるじようほうりょうきじゅん、英: Widely applicable information criterion、略称: WAIC）または渡辺・赤池情報量基準（Watanabe–Akaike information criterion、WAIC）は、特異的統計モデルに対する赤池情報量基準 (AIC) の一般化版である^[1]。2009年に渡辺澄夫が発表した^[2]。また、広く使えるベイズ情報量規準 (WBIC; Widely applicable Bayesian information criterion) は、特異的統計モデルに対するベイズ情報量規準 (BIC) の一般化版^[3]。2013年に渡辺澄夫が発表した。WBIC は、サンプルサイズが n の時に、逆温度が 1/log n の事後分布に対する平均対数尤度関数。

WAICもWBICも真の分布に関する情報無しに数値的に計算できる。

以下では、q(x) を観測データが従う真の確率分布、観測データ（確率変数）を X={X_i}、確率モデルのパラメータを w、確率モデルを p(x|w)、事前分布を φ(w) とする。

また、事後分布による平均を 𝔼_w[・]、真のデータ分布による平均を 𝔼_x[・] とする。すなわち、任意の関数 f(w)、g(x)に対し：

${\displaystyle \mathbb {E} _{w}\left[f(w)\right]={\frac {\int f(w)\prod _{i=1}^{n}p(X_{i}|w)\varphi (w)\mathrm {d} w}{\int \prod _{i=1}^{n}p(X_{i}|w)\varphi (w)\mathrm {d} w}}}$,

${\displaystyle \mathbb {E} _{x}\left[g(x)\right]=\int g(x)q(x)\mathrm {d} x}$

とする。また、特にパラメータ β で一般化された事後分布平均を

${\displaystyle \mathbb {E} _{w}^{\beta }\left[f(w)\right]={\frac {\int f(w)\prod _{i=1}^{n}p(X_{i}|w)^{\beta }\varphi (w)\mathrm {d} w}{\int \prod _{i=1}^{n}p(X_{i}|w)^{\beta }\varphi (w)\mathrm {d} w}}}$

と書く。ここで導入されたパラメータ β は統計力学とのアナロジーで逆温度と呼ばれる。

またベイズ推定の文脈で、パラメータ w の事後分布を用いて期待値をとったモデル分布（事後予測分布）を

${\displaystyle p^{\ast }(x)=\mathbb {E} _{w}\left[p(x|w)\right]}$

と書く。

${\displaystyle \mathrm {WAIC} ={\frac {1}{n}}\sum _{i}(-\log {p^{\ast }(X_{i})})+{\frac {1}{n}}\sum _{i=1}^{n}\left[\mathbb {E} _{w}\left[\log {p(X_{i}|w)^{2}}\right]-\mathbb {E} _{w}\left[\log {p(X_{i}|w)}\right]^{2}\right]}$

ただし、文献により定義が定数倍違う場合があることに注意。

考えている確率モデルの性能を評価するため、観測データから得られた事後予測分布 p^*(x) が実際のデータ分布 q(x) にどのくらい近いかを考えたい。そこで、以下で定義される量（汎化誤差）を考える:

${\displaystyle G_{n}=\mathbb {E} _{x}\left[-\log p^{\ast }(x)\right]=\int q(x)\left(-\log {p^{\ast }(x)}\right)dx}$

これは真の分布 q(x) と予測分布 p^*(x) との交差エントロピー H(q||p^*)である。これは q(x) が p^*(x) と等しい時最小値 H(q) をとる（H(q) は q(x) のエントロピー）。

しかし実際には無限に観測データを手に入れられるわけではないので、真の分布 q(x) の形状を知らない場合には上の積分は評価できない。そこで、真のデータ分布での平均値を求める代わりに、有限の観測データによるサンプル平均を使った経験誤差を考える：

${\displaystyle T_{n}={\frac {1}{n}}\sum _{i}(-\log {p^{\ast }(X_{i})})}$

これは汎化誤差の近似を与える（サンプルサイズが非常に大きい極限で汎化誤差に漸近する）が、有限のサンプルを用いて計算しているため真の汎化誤差の値から系統的に少しずれてしまう。WAICはこの経験誤差と汎化誤差とのズレを汎関数分散

${\displaystyle V_{n}=\sum _{i=1}^{n}\left[\mathbb {E} _{w}\left[\log {p(X_{i}|w)^{2}}\right]-\mathbb {E} _{w}\left[\log {p(X_{i}|w)}\right]^{2}\right]}$

で補正し、有限の観測データしかない場合でも汎化誤差の良い近似値を計算できるようにしたものである。

広く使えるベイズ情報量規準 (WBIC) は、逆温度パラメータ を β^* = 1 / log n とおいたときの一般化事後分布に対する対数尤度の期待値

${\displaystyle \mathrm {WBIC} =\mathbb {E} _{w}^{\beta ^{\ast }}\!{\bigl [}-\sum _{i=1}^{n}\log p(X_{i}\mid w){\bigr ]}}$

として定義される。すなわち「逆温度 β^* = 1 / log n でMCMC チェーンを回し、そのチェーン上の対数尤度を平均した量」が WBIC である。

ベイズ統計の文脈でモデル同士を比較するのに使われるのがベイズファクターである。ベイズファクターはモデル同士のエビデンス

${\displaystyle {\mathcal {E}}=\int \prod _{i=1}^{n}p(X_{i}|w)\varphi (w)dw}$

の比で与えられる。実用上はこれの対数値を使うのが便利なので、これの負の対数値

${\displaystyle {\mathcal {F}}=-\log {\mathcal {E}}}$

（統計力学とのアナロジーでベイズ自由エネルギーと呼ぶ）を考える。BICは正則モデル（事後分布が正規分布でよく近似できる）についてこれの良い近似（定義によってはその定数倍）を与えるが、WBICは非正則（特異的）なモデルに対しても自由エネルギーの良い近似値を与える。

渡辺澄夫による解説

• 広く使える情報量規準(WAIC) 　(リンク切れ？）
• 広く使えるベイズ情報量規準(WBIC)　(リンク切れ？）

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
記述統計学	連続データ 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック–ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC WBIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	相関係数 ピアソンの積率相関係数 スピアマンの順位相関係数 ケンドールの順位相関係数 偏相関係数 その他 自己相関 空間的自己相関 相互相関 交絡変数 相関関係と因果関係 擬似相関 錯誤相関
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 回帰木 ランダムフォレスト ニューラルネットワーク サポートベクター回帰 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法（k-means++法） DBSCAN 密度推定（英語版） カーネル密度推定（カーネル） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉図 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存時間分析	生存時間関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ

この項目は、統計学に関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（プロジェクト:数学／Portal:数学）。

• 表示
• 編集