MSE也称为L2 loss:
随着预测与真实值的绝对误差的增加,均方差损失呈二次方增加。
Huber Loss将L1和L2结合起来,也被称做smoothed L1 Loss。增加了一个需要额外设置的超参数 ,来控制L2和L1的连接位置。 在误差接近0的时候使用L2,使损失函数可导,梯度更加稳定;误差较大的时候用L1,可以降低outlier带来的巨大误差的影响。
二分类中,通常使用Sigmoid函数将模型的输出压缩到(0, 1)区间。给定输入 ,模型判断为正类/负类的概率:
合并成一个:
取对数加负号之后,得到:
N是所有样本的数量。
图中曲线可以看出,当预测值越接近目标值损失越小,随着误差变差,损失呈现指数增长。
真实值 现在是一个One-hot向量,Sigmoid换成了Softmax来把输出值压缩到(0, 1)之间,所有维度的输出和为1.
Softmax公式:
表示K个类别中的一个,k只在对应的类别上是1,其他时候是0。
于是上式可以改写成:
是样本 的目标类。
分类问题中为什么不用MSE? 因为MSE假设了误差服从高斯分布,在分类任务下这个假设无法满足,因此效果会很差。
第二个论点是从信息论的角度来分析的,是关于由KL散度的角度来推导Cross Entropy的过程( 原文 )
是另一种二分类损失函数,适用于Maximum-margin的分类,SVM的损失函数就是hinge loss + L2正则化
下图为,当y为正类的时候( ),不同的输出 对应的loss图
当y为正类时,模型输出负值会有很大的惩罚。即使输出为正值在(0, 1)区间,也还是会有一个较小的惩罚。也就是只有置信度高的才会有零损失。使用hinge loss直觉上的理解是要找到一个决策边界,使得素有数据点被这个边界正确地,高置信度地被分类。
同时hinge loss也反应了一点,对于那些已经可以被很好分类的样本,它不再对loss产生贡献,可以让模型花更多的energy去学习难以分类的样本。
https://zhuanlan.zhihu.com/p/77686118