第五课:综合应用
过拟合
正则化
作者 : 老饼 日期 : 2022-06-26 03:54:24 更新 : 2022-08-04 18:01:19
本站原创文章,转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com


正则化是一个解决过拟合较为有效的方法

它主要通过在损失函数中加入系数的惩罚项的方式,来抑制模型系数过大,

本文讲解什么是正则化,和介绍常用的正则化公式。




  一、正则化  


  什么是正则化  


正则化是指在在损失函数中加入系数的惩罚项。


  举例  


例如,线性函数最原始的损失函数为:
 

 
 
加入二范正则项的损失函数变为:
 
 
 



  二、为什么要正则化  



  系数过大的危害  


模型中的系数过大会使模型不稳定,
而且过大的系数往往违背真实规则。
以线性回归模型举例,当中的W过大时

 1、很容易造成模型的不稳定

 
例如 y = 10000*x1+10*x2+3 , 
x1的系数非常大,
导致x1微小的变化都会引起y的极大变化,
从而导致模型不稳定,


2、违反实际规则
 
 
现实的业务规则,
一般不会出现y与x1成10000倍这么极端关系
所以系数过大,
往往是违反背后业务原本规则的,

也即模型没有如实反映变量与因变量的关系。
在误差允许范围内,我们不希望出现极大的系数。
或者说,极大的系数本身就是一个数据误导,而非实际规则。


   正则化如何抑制系数过大   


在不加正则化时,
损失函数为了误差最小化,
系数可能会取到极大值。

而在加入正则化后,
损失函数中加入了系数惩罚项,
从而避开系数过大的解



三、常用正则化函数


   最常用的正则项   


最常用的正则项是二范平方,即系数的平方和:
 

之所以最常用,是因为平方项比较方便求导。


   第二常用正则项   


第二常用的是:
 



   p范数正则项   


p范数通用公式:

L0范数:

即系数中非0系数的个数
L1范数:
 
即系数绝对值之和  
L2范数:

即系数平方和再开根号
PASS:平方和往往用二范数的平方表示,即:






  End  







   

联系小饼