损失函数

在数学优化与决策论中，损失函数（亦称成本函数或误差函数）^[1]是将事件或变量值映射至实数域的函数，其数值直观体现与该事件相关的“代价”。优化问题的核心目标即是最小化损失函数。与之相对的目标函数在不同领域有不同称谓——收益函数、效用函数、适应度函数等——这类函数则需要通过最大化来实现价值。值得注意的是，损失函数的设计往往融合多层级结构的要素。

统计学科领域内，损失函数常被应用于参数估计过程，其函数形式通常反映数据实例中估计值与真实值之间的差异度量。这一概念虽可追溯至拉普拉斯时代，但直到20世纪中叶才经由沃德·亚伯拉罕重新引入统计学体系。^[2] 在经济学中，损失通常指经济成本或遗憾；在分类问题中，则体现为错误分类样本的惩罚项；精算学领域自哈拉尔德·克拉梅尔20世纪20年代的研究起，该函数主要应用于保险金与赔付额的建模^[3]；最优控制理论中，它定义为未达成目标值的惩罚项；而在金融风险管理中，则直接对应货币价值的损失。

平方损失函数十分常见，比如用在最小二乘法中。它在数学上通常比其他损失函数更容易进行处理，这是因为它具有方差的性质，以及对称性：高于目标值的误差产生的损失与低于目标值同样大小的误差产生的损失相等。假设目标值为t，那么平方损失函数为

${\displaystyle \lambda (x)=C(t-x)^{2}\;}$

其中C为某个常数，它的值与决定无关，并且可以通过设为1来略去。

在统计学与决策论中，一个常见的损失函数是0-1损失函数

${\displaystyle L({\hat {y}},y)=I({\hat {y}}\neq y),\,}$

其中${\displaystyle I}$是指示函数。

• 分类问题之损失函数