多項式回帰

統計学
回帰分析
モデル
線形回帰 線形単回帰 多項式回帰 一般線形モデル
一般化線形モデル 離散選択（英語版） ロジスティック回帰 多項ロジット（英語版） 混合ロジット（英語版） プロビット（英語版） 多項プロビット（英語版） 順序ロジット（英語版） 順序プロビット（英語版） ポアソン（英語版）
多水準モデル（英語版） 固定効果（英語版） 変量効果 混合モデル
非線形回帰 ノンパラメトリック（英語版） セミパラメトリック（英語版） ロバスト（英語版） 分位点（英語版） 等調（英語版） 主成分（英語版） 最小角度（英語版） 局所 折れ線（英語版）
変数誤差（英語版）
推定
最小二乗法 線形（英語版） 非線形
普通（英語版） 加重（英語版） 一般化（英語版）
部分 総最小二乗法（英語版） 非負（英語版） リッジ回帰 正則化（英語版）
最小絶対偏差（英語版） 繰返し加重（英語版） ベイズ（英語版） ベイズ多変量（英語版）
背景
回帰検証（英語版） 平均応答と予測応答（英語版） 誤差と残差 適合度（英語版） スチューデント化残差 ガウス＝マルコフの定理
表 話 編 歴

統計学における多項式回帰（たこうしきかいき、英: polynomial regression）とは、従属変数 ${\displaystyle y}$ を独立変数 ${\displaystyle x}$ の ${\displaystyle n}$ 次多項式でモデル化する回帰分析の一手法である。多項式回帰は、従属変数と独立変数とが非線形的な関係で表現されるような場合に適しており、例えば神経組織の成長^[1]、湖底堆積物中の炭素同位体の分布^[2]、感染症の拡大^[3]の記述に用いられてきた。多項式回帰ではデータに非線形なモデルを当てはめるが、推定理論（英語版）においては線形の問題に分類される。というのも、推定される関数が未知母数の1次式だからである。この意味で、多項式回帰は重回帰分析の特別な場合とみなされる。

"ベースライン"変数 ${\displaystyle x}$ のべき乗によって得られる説明変数（独立変数）は高次項と呼ばれる。このような項は統計的分類の問題にも現れることがある^[4]。

多項式回帰では、普通最小二乗法を用いてモデルの当てはめが行われ、これにより偏回帰係数の最小分散不偏推定量が求まる（ガウス＝マルコフの定理）。最小二乗法は1805年にルジャンドル、1809年にガウスによって発表された。多項式回帰を用いた最初の実験計画の例がジョセフ・ディエ・ジェルゴンヌ（英語版、フランス語版）の1815年の論文に見られる^[5][6]。20世紀になって回帰分析が発達し、実験計画法や推定の理論の問題が重要視される中で、多項式回帰は大きな役割を果たしてきた^[7]。

回帰分析の目的は、従属変数 ${\displaystyle y}$ を独立変数 ${\displaystyle x}$ で説明するモデルを作ることである。単回帰（英語版）ではモデルは

${\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon }$

となる。ここで ${\displaystyle \varepsilon }$ は平均が0になるような偶然誤差。このモデルでは、変数 ${\displaystyle x}$ が1単位増加するのに伴って ${\displaystyle y}$ は ${\displaystyle \beta _{1}}$ だけ増加する。

多くの場面で、このような線形の関係は成り立たなくなる。例えば、化学合成における収率と温度との関係を調べると、温度1単位の上昇に伴い収率が加速度的に向上することがある。この場合、モデルに2次式を用いることが考えられる。

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon }$

このモデルでは、温度が ${\displaystyle x}$ から ${\displaystyle x+1}$ に1単位上昇すると、収率は平均して ${\displaystyle \beta _{1}+\beta _{2}(2x+1)}$ だけ増加し（ ${\displaystyle x}$ を ${\displaystyle x+1}$ で置き換えて差し引く）、また微小変動 ${\displaystyle \Delta x}$ による ${\displaystyle y}$ の全変動は ${\displaystyle (\beta _{1}+2\beta _{2}x)\Delta x}$ である。収率の変化量が ${\displaystyle x}$ に依存しているのは非線形性の現れである。

より一般には n次多項式を用いることができ、これが多項式回帰のモデルである。

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon }$

多項式モデル

${\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{n}x_{i}^{n}+\varepsilon _{i}\ (i=1,2,\dots ,m)}$

は、計画行列 ${\displaystyle \mathbf {X} }$、従属変数ベクトル ${\displaystyle {\vec {y}}}$、母数ベクトル ${\displaystyle {\vec {\beta }}}$、誤差ベクトル ${\displaystyle {\vec {\varepsilon }}}$ を使って行列の形で表現できる。${\displaystyle \mathbf {X} }$ の第 ${\displaystyle i}$ 行目と ${\displaystyle {\vec {y}}}$ の第 ${\displaystyle i}$ 成分は、第 ${\displaystyle i}$ 番目のサンプルデータにおける ${\displaystyle x}$ と ${\displaystyle y}$ の値から成っている。全体としては次のように1次方程式の系として書ける：

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{m}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{n}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{n}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{n}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{m}&x_{m}^{2}&\dots &x_{m}^{n}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{n}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{m}\end{bmatrix}}}$

行列だけで書くと次のようになる。

${\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}}$

ここで、相異なる ${\displaystyle n+1}$ 個（＝未知母数の個数）以上の ${\displaystyle x}$ に対するサンプルが得られているとする（ ${\displaystyle m\geq n+1}$ ）。このとき行列 ${\displaystyle \mathbf {X} }$ はヴァンデルモンドの行列式を与える正方行列を小行列として持つため、階数は最大値である ${\displaystyle n+1}$ となる。行列の一般論から ${\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} }$ の階数も ${\displaystyle n+1}$ になり（QR分解を参照）、${\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} }$ は逆行列を持つ。

よって最小二乗法の一般論から、回帰係数の推定量は

${\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}}}$

と一意的に求められる。

多項式回帰は技術的には重回帰の一種ではあるが、当てはめられた多項式の解釈にはやや異なった視点が必要である。${\displaystyle x,x^{2},\ldots ,x^{n}}$ は強く相関しているため、それらの回帰係数を個別に解釈するのは難しいことが多い。例えば ${\displaystyle x}$ と ${\displaystyle x^{2}}$ は、${\displaystyle x}$ が区間 (0, 1) 上の一様分布に従っているなら相関係数が 0.97 である。直交多項式を使うことで相関を減少させることもできるが、当てはめた関数を全体として捉えるほうが示唆的である。各点での信頼区間・同時信頼区間は回帰関数の不確かさを表す。

多項式回帰は、2つの量の関係を何らかの基底関数（この場合は独立変数の有限個のべき乗）で表現する回帰手法の一例である。難点は、べき乗項の非線形性から、ある点 ${\displaystyle x_{0}}$ での予測値が遠く離れた点 ${\displaystyle x}$ でのサンプルデータの影響を強く受けてしまうことである^[8]。近年では、多項式回帰に別の基底関数、例えば、スプライン、放射基底関数、ウェーブレット等を組み合わせることもある。こうした関数族を使うことで、より少ない関数だけから多様なデータに当てはまる回帰関数を作れることがある。

多項式回帰の目的は独立変数と従属変数の間の非線形な関係をモデル化することである。これは非線形な回帰関係を捉えようとするノンパラメトリック回帰（英語版）の目標とも重なるところがあり、ノンパラメトリック回帰での平滑化（英語版）等の手法は多項式回帰の有力な代替になり得る。これらの手法の中には、局所的な形式での多項式回帰を利用するものもある^[9]。従来型の多項式回帰の長所は、推測のフレームワークが活用できることである（これは他の基底関数、例えばスプラインを使う場合にも当てはまる）。

残る代替手法として、カーネル法によるもの（例えば、多項式カーネル（英語版）を用いたサポートベクターマシンによる回帰）がある。

• 曲線当てはめ
• 線形回帰
• 局所回帰
• 有理式モデル（英語版）
• 多項式補間
• 応答曲面法（英語版）
• 平滑化スプライン

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
記述統計学	連続データ 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック–ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC WBIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	相関係数 ピアソンの積率相関係数 スピアマンの順位相関係数 ケンドールの順位相関係数 偏相関係数 その他 自己相関 空間的自己相関 相互相関 交絡変数 相関関係と因果関係 擬似相関 錯誤相関
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 回帰木 ランダムフォレスト ニューラルネットワーク サポートベクター回帰 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法（k-means++法） DBSCAN 密度推定（英語版） カーネル密度推定（カーネル） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉図 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存時間分析	生存時間関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ

• Microsoft Excel では、X-Y散布図のデータ点に当てはまるような多項式曲線を引くことができる^[10]。

• Curve Fitting, PhET 対話型シミュレーション（コロラド大学ボルダー校）