非参数回归

统计学系列条目
迴歸分析
模型
線性回歸 简单线性回归 普通最小二乘法（OLS） 多项式回归 一般线性模型
廣義線性模式 离散选择（英语：Discrete choice） 对数几率回归 多项罗吉特（英语：Multinomial logit） 混合罗吉特 波比（英语：Probit model） 多项式波比（英语：Multinomial probit） 排序性模型（英语：Ordered logit） 有序波比（英语：Ordered probit） 泊松回归
等级线性模型 固定效应（英语：Fixed effects model） 随机效应（英语：Random effects model） 混合模型（英语：Mixed model）
非线性回归 非参数 半参数 稳健 分位数迴歸 保序回归 主成分 最小角 局部（英语：Local regression） 分段
含误差变量（英语：Errors-in-variables models）
估计
最小二乘法 普通最小二乘法 线性 偏最小二乘回归 总体（英语：Total least squares） 广义 加权 非线性 非负（英语：Non-negative least squares） 重复再加权（英语：Iteratively reweighted least squares） 脊迴歸（嶺迴歸） LASSO
最小绝对值导数法（英语：Least absolute deviations） 贝叶斯（英语：Bayesian linear regression） 贝叶斯多元
背景
回归模型驗證（英语：Regression model validation） 平均响应和预测响应（英语：Mean and predicted response） 误差和残差 拟合优度 学生化残差（英语：Studentized residual） 高斯-马尔可夫定理
概率与统计主题
查 论 编

非参数回归指的是一类回归分析，其中的预测子不是预先确定的，而根据从数据中获得的信息。也就是说，预测子与因变量之间的关系不会假定为参数形式。非参数回归需要更大的样本量，因为数据必须提供参数模型结构和模型估计值。

非参数回归中，有随机变量${\displaystyle X}$、${\displaystyle Y}$，并假设其关系如下：

${\displaystyle \mathbb {E} [Y\mid X=x]=m(x),}$

其中${\displaystyle m(x)}$是某个确定函数。线性回归也是非参数回归的一种，${\displaystyle m(x)}$假定为仿射。 有些学者使用了稍强的加性噪声假设：

${\displaystyle Y=m(X)+U,}$

其中随机变量${\displaystyle U}$是“噪声项”，均值为0. 若不假设${\displaystyle m}$属于特定的函数参数族，就不可能得到${\displaystyle m}$的无偏估计，但大多数估计量在适当条件下都是一致的。

这是非参数回归模型的非详尽列表。

• 最邻近法，参考[{最近邻插值}]]和K-近邻算法
• 决策树学习
• 核回归
• 局部回归
• 多元自适应回归样条
• 平滑样条
• 神经网络^[1]

高斯过程回归也称克里金法，假设回归曲线的先验为正态分布，并假设误差遵循多元正态分布，回归曲线由后验模式估计。正态先验可能取决于未知的超参数，可用经验贝叶斯方法估计。 超参数通常指定一个先验协方差核。若核也要从数据中进行非参数推断，则可使用临界滤波器。

平滑样条法可解释为高斯过程货柜的后验模式。

此章節尚無參考來源，內容或許無法查證。 (2020年8月1日)

核回归用核函数卷积数据点位置，从有限的数据点中估计连续因变量。近似地说，核函数说明了“模糊”数据点影响的方法，以便用它们的值预测附近位置的值。

决策树学习算法可以从数据中学习，以预测因变量。^[2]虽然最初的分类回归树（CART）公式仅适用于预测单变量数据，该框架也可用于预测多变量数据，包括时间序列。^[3]

• Lasso算法
• 局部回归
• 非参数统计
• 半参数回归
• 保序回归
• 多元自适应回归样条法

• Bowman, A. W.; Azzalini, A. Applied Smoothing Techniques for Data Analysis. Oxford: Clarendon Press. 1997. ISBN 0-19-852396-3. 
• Fan, J.; Gijbels, I. Local Polynomial Modelling and its Applications. Boca Raton: Chapman and Hall. 1996. ISBN 0-412-98321-4. 
• Henderson, D. J.; Parmeter, C. F. Applied Nonparametric Econometrics. New York: Cambridge University Press. 2015. ISBN 978-1-107-01025-3. 
• Li, Q.; Racine, J. Nonparametric Econometrics: Theory and Practice. Princeton: Princeton University Press. 2007. ISBN 978-0-691-12161-1. 
• Pagan, A.; Ullah, A. Nonparametric Econometrics. New York: Cambridge University Press. 1999. ISBN 0-521-35564-8.  含有內容需登入查看的頁面 (link)

• HyperNiche, software for nonparametric multiplicative regression （页面存档备份，存于互联网档案馆）.
• Scale-adaptive nonparametric regression （页面存档备份，存于互联网档案馆） (with Matlab software).