廣義線性模型

统计学系列条目
迴歸分析
模型
線性回歸 简单线性回归 普通最小二乘法（OLS） 多项式回归 一般线性模型
廣義線性模式 离散选择（英语：Discrete choice） 对数几率回归 多项罗吉特（英语：Multinomial logit） 混合罗吉特 波比（英语：Probit model） 多项式波比（英语：Multinomial probit） 排序性模型（英语：Ordered logit） 有序波比（英语：Ordered probit） 泊松回归
等级线性模型 固定效应（英语：Fixed effects model） 随机效应（英语：Random effects model） 混合模型（英语：Mixed model）
非线性回归 非参数 半参数 稳健 分位数迴歸 保序回归 主成分 最小角 局部（英语：Local regression） 分段
含误差变量（英语：Errors-in-variables models）
估计
最小二乘法 普通最小二乘法 线性 偏最小二乘回归 总体（英语：Total least squares） 广义 加权 非线性 非负（英语：Non-negative least squares） 重复再加权（英语：Iteratively reweighted least squares） 脊迴歸（嶺迴歸） LASSO
最小绝对值导数法（英语：Least absolute deviations） 贝叶斯（英语：Bayesian linear regression） 贝叶斯多元
背景
回归模型驗證（英语：Regression model validation） 平均响应和预测响应（英语：Mean and predicted response） 误差和残差 拟合优度 学生化残差（英语：Studentized residual） 高斯-马尔可夫定理
概率与统计主题
查 论 编

在統計學上，廣義線性模型（英語：generalized linear model，缩写作 GLM）是一種應用灵活的線性迴歸模型。该模型允许因变量的偏差分布有除了正态分布之外的其它分布。此模型假設實驗者所量測的隨機變數的分佈函數與實驗中系統性效應（即非隨機的效應）可經由一鏈結函數（link function）建立可解釋其相關性的函數。

約翰·內爾德（英语：John Nelder）與彼得·麥古拉（英语：Peter McCullagh）在1989年出版，被視為廣義線性模式的代表性文獻中提綱挈領地說明了廣義線性模式的原理、計算（如最大概似估計量）及其實務應用。

广义线性模型是普通最小二乘法（OLS）的扩展，在廣義線性模式中，假設每個資料的觀測值${\displaystyle \mathbf {Y} }$來自某個指數族分佈。 該分佈的平均數 ${\displaystyle {\boldsymbol {\mu }}}$ 可由與該點獨立的X解釋：

${\displaystyle \operatorname {E} ({\boldsymbol {y}})={\boldsymbol {\mu }}=g^{-1}(\mathbf {X} {\boldsymbol {\beta }})}$

其中${\displaystyle E({\boldsymbol {y}})}$為${\displaystyle {\boldsymbol {y}}}$的期望值，${\displaystyle \mathbf {X} {\boldsymbol {\beta }}}$是由未知待估計參數${\displaystyle {\boldsymbol {\beta }}}$與已知變數${\displaystyle \mathbf {X} }$構成的線性估計式，${\displaystyle g}$則為鏈結函數。

在此模式下，${\displaystyle {\boldsymbol {y}}}$的方差${\displaystyle V}$可表示為：

${\displaystyle \operatorname {Var} ({\boldsymbol {y}})=\operatorname {V} ({\boldsymbol {\mu }})=\operatorname {V} (g^{-1}(\mathbf {X} {\boldsymbol {\beta }})).}$

一般假設${\displaystyle V}$可視為一指數族隨機變數的函數。

未知參數${\displaystyle {\boldsymbol {\beta }}}$通常會以最大概似估計量, 殆最大概似估計量（英语：quasi-maximum likelihood）, 或以貝氏方法來估計。

廣義線性模式包含了以下主要部份：

1. 來自指數族的分佈函數${\displaystyle f}$。
2. 線性預測子 ${\displaystyle {\boldsymbol {\eta }}=\mathbf {X} {\boldsymbol {\beta }}}$。
3. 鏈結函數${\displaystyle g}$使得 ${\displaystyle E(Y\mid X)={\boldsymbol {\mu }}=g^{-1}({\boldsymbol {\eta }})}$。

指數族隨機變數意指其具參數θ與τ的機率密度函數, f (在論離散型隨機變數時，則為概率质量函数)可表為：

${\displaystyle f_{Y}(y;\theta ,\tau )=\exp {\left({\frac {a(y)b(\theta )+c(\theta )}{h(\tau )}}+d(y,\tau )\right)}.\,\!}$

τ稱之為變異參數，通常用以解釋變異數。函數a、b、c、d 及h為已知。許多（不包含全部）型態的隨機變數可歸類為指數族

θ與該隨機變數的期望值有關。若a為恆等函數，則稱該分佈屬於 正則型式。 另外，若b為恆等而τ已知，則θ稱為正則參數，其與期望值的關係可表為：

${\displaystyle \mu =\operatorname {E} (Y)=-c'(\theta ).\,\!}$

一般情形下，該分佈的變異數可表為：

${\displaystyle \operatorname {Var} (Y)=-c''(\theta )h(\tau ).\,\!}$

線性預測子是用將獨立變數經由線性組合來尋模式所能提供之資訊的計量變數。符號η (希臘字母 "Η")通常用來表示線性預測子。它與資料的期望值的鏈結函數值有關(故稱"預測子")。

η表為未知參數β的線性組合(故為"線性")。X則為獨立變數所組合而成的观测矩陣。如此一來，η可表示為

${\displaystyle \eta =\mathbf {X} {\boldsymbol {\beta }}.\,}$

X的元素通常為模式設計時可觀測的資料或為實驗時所得的數據。

鏈結函數解釋了線性預測子與分佈期望值的關係。鏈結函數的選擇可視情形而定。通常只要符合鏈結函數的值域有包含分佈期望值的條件即可。

當使用具正則參數θ的分佈時，鏈結函數需符合X^TY 為β的充份統計量此一條件。這在θ與線性預測子的鏈結函數值相等時方成立。下面列出若干指數族分佈的典型鏈結函數及其反函數(有時稱為均值函數)：

典型鏈結函數

Y的分佈	名稱	鏈結函數	均值函數
正态	恆等	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu \,\!}$	${\displaystyle \mu =\mathbf {X} {\boldsymbol {\beta }}\,\!}$
指數	倒數	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu ^{-1}\,\!}$	${\displaystyle \mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!}$
Gamma
逆高斯	二次倒數	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu ^{-2}\,\!}$	${\displaystyle \mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1/2}\,\!}$
卜瓦松	自然對數	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln {(\mu )}\,\!}$	${\displaystyle \mu =\exp {(\mathbf {X} {\boldsymbol {\beta }})}\,\!}$
二項式	Logit	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln {\left({\frac {\mu }{1-\mu }}\right)}\,\!}$	${\displaystyle \mu ={\frac {\exp {(\mathbf {X} {\boldsymbol {\beta }})}}{1+\exp {(\mathbf {X} {\boldsymbol {\beta }})}}}\,\!}$
多項式

在指數分佈與Gamma分佈中，其典型鏈結函數的值域並不包含分佈均值，另外其線性預測子亦可能出現負值，此兩種分佈絕無均值為負的可能。當進行极大似然估计进行計算時需避免上述情形出現，這時便需要使用到非典型鏈結函數。

有些人可能會把一般線性模式和廣義線性模式給弄混了。一般線性模式可視為廣義線性模式的一個鏈結函數為恆等的特例。一般線性模式有著悠長的發展歷史。廣義線性模式具非恆等鏈結函數者有著漸近一致的結果。

廣義線性模式最簡單的例子便是線性迴歸。此例中分佈函數為常態分佈而鏈結函數為恆等函數在變異數已知的條件下並符合正規式。 這個例子具有廣義線性模式罕有的极大似然估计的解析解

在討論二元反應結果（如有跟沒有）時，通常以二項式分布建模。其期望值'μ_i通常解釋為樣本Y_i發生事件的機率p

二項式分布有許多常用的鏈結函數，最常用的鏈結函數是logit：

${\displaystyle g(p)=\ln \left({p \over 1-p}\right).}$

以此建模的廣義線性模式通常稱為logistic迴歸模式。

另外，任何連續型機率分配累積函數（CDF）的反函數皆可使用此模式，因為其值域為[0,1]，包含了二項式分佈期望值的可能值域。常態機率分配累積函數${\displaystyle \Phi }$是一個廣受應用於probit模式的選擇。其鏈結函數為

${\displaystyle g(p)=\Phi ^{-1}(p).\,\!}$

有時恆等函數也會被用為二項式分佈的鏈結函數，其缺點為預測值可能超出合理範圍。經過若干修正可以避免上述問題，但會在解釋上造成困難。此模式通常適用於p接近0.5的情形。 此種建模很接近logit及probit的線性轉換，有時計量經濟學家會稱其為Harvard模式。

二元資料的廣義線性模式變異函數可寫為

${\displaystyle \operatorname {Var} (Y_{i})=\tau \mu _{i}(1-\mu _{i})\,\!}$

其中變異參數${\displaystyle \tau }$通常等於1，若非，則該模式稱為溢變異或殆二元。

另一個常用的例子為用於計次的泊松分佈。此例的鏈結函數為自然對數，為正規鏈結。 變異數函數與均值成等比

${\displaystyle \operatorname {var} (Y_{i})=\tau \mu _{i},\,}$

其中變異參數${\displaystyle \tau }$通常為1。 若非，此模式通常稱為溢變異或似卜瓦松。