老饼讲解-机器学习 机器学习 神经网络 深度学习
线性模型

【原理】岭回归模型介绍

作者 : 老饼 发表日期 : 2022-06-26 10:37:15 更新日期 : 2023-11-09 17:04:15
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



本文讲解岭回归的原理,包括岭回归是什么,岭回归的公式和求解,是岭回归入门的基础篇。


  01. 什么是岭回归  



本节讲解什么是岭回归,为什么会有岭回归



   什么是岭回归   


为什么会有岭回归
岭回归模型是在线性回归的基础上发展而来的,
线性回归会为了在数据上把误差降到最低,可能求得的系数极大
而事实上,系数过大往往泛化能力并不好,具体参见《正则化》一文
   岭回归对线性回归的改进   
岭回归则是在线性回归的基础上,
在损失函数中加入二范正则项,对过大的系数进行惩罚
这样,得到的模型系数就尽量避免过大
什么是岭回归
从上述可知,岭回归的模型与线性回归一致,
只是在线性回归的损失函数中加入了二范正则项的线性回归





   02. 岭回归的模型表达式与损失函数  



本节讲解岭回归的模型表达式与损失函数



   岭回归的模型表达式与损失函数   


岭回归的模型与线性回归一致,
只是在线性回归的损失函数中加入了二范正则项的线性回归
下面我们具体地展示岭回归的模型表达式与损失函数
 

 岭回归的模型表达式
岭回归模型仍然是线性模型,
岭回归的模型表达式为:
 

   
 
👉注意:基础的岭回归的模型表达式中没有阈值b,下文我们再进行解释
岭回归的损失函数
 
岭回归的损失函数是线性回归模型的损失函数基础上加入二范正则项
  岭回归的损失函数如下:
 
  
  
其中 是超参数,用于调节参数W的惩罚力度,
  越大时,惩罚力度越大, 各个参数求出来的绝对值就会越小




   岭回归的模型表达式与损失函数-矩阵形式   


为书写方便,一般将岭回归的模型表达式、损失函数写成矩阵形式
岭回归模型表达式-矩阵形式
岭回归模型表达式的矩阵形式如下: 
 
 
岭回归损失函数-矩阵形式
岭回归损失函数的矩阵形式如下: 
 

其中 是超参数,用于调节参数W的惩罚力度





   03. 关于岭回归中的阈值处理    



本节介绍如何将岭回归的基础模型拓展成带阈值的模型



   为什么标准岭回归没有阈值b   


由于岭回归的目的是为了惩罚变量的系数,
而阈值不在惩罚范围内,
如果模型采用阈值形式,在损失函数的矩阵表达和求解上都带来许多不便
 
因此,岭回归模型一开始就假设数据是中心化的(数据中心点经过原点)
这样就适用于无阈值模型
经过这样的简化,使得岭回归的公式和求解都更为方便



   岭回归中阈值b的拓展方式   


现实中的数据基本都是需要阈值的,
一般我们会在标准岭回归模型的基础上,进行阈值拓展

下面我们讲述如何将岭回归模型拓展成带阈值模型,
即拓展成以下模型:
 

岭回归拓展阈值b的方法
将岭回归模型拓展成带阈值模型的操作方法如下:
可以先将数据中心点移到原点,以无阈值形式算出W,再通过W算出b.

具体如下:
(1) 先将数据作中心化转换:                                                                  
                                                                
                                                              
 此时, 都是以(0,0)为中心的数据                   
(2) 用训练岭回归模型, 得到                                      
(3) 训练后再计算阈值b:              
即可得到                                                           
✍️推导过程参考:上述相关公式的推导参考《线性模型有阈值与无阈值的转化》






   参考资料:   


《岭回归》https://www.jianshu.com/p/1677d27e08a7





 End 





联系老饼