老饼讲解-机器学习 机器学习 神经网络 深度学习
线性模型

【拓展】线性模型有阈值与无阈值的转化

作者 : 老饼 发表日期 : 2022-08-08 15:25:55 更新日期 : 2023-11-09 19:35:02
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



本文讲述带阈值的线性模型与无阈值线性模型之间的转化方法



    问题   


线性模型一般指的是 ,
而事实上,
我们一般会转化成  这种无阈值形式的问题,
它在求解和理论研究上更为方便

那么 的问题如何转换成  形式的问题呢?
下面介绍两种常用的处理方法
  👉 1. 新增常数变量
  👉 2. 样本中心化   





  01. 方法1-新增常数变量   



本节介绍如何通过"新增常数变量"的方法,将线性模型转为无阈值线性模型


   思路与推导   


“新增常数变量”方法的思路是
把 看作 
 
其中
  

即新增了一个变量,它恒等于1
而b则看作该变量的系数
这样
原本的,的问题
就变成了 ,的问题
此时,样本的预测值Y的表达式:

 

也就变成:

 



   实际操作   


1.对原始数据增加常数变量数据
 
在原始数据X的最后添加一列1,得到X',如下

   

2.求X'的无阈值模型
  
用X'求解无阈值模型
 
  
其中
 

3.从w'中分解出w和b

 
 
 
 





  02.方法2-样本中心化   



本节介绍如何通过"样本中心化"的方法,将线性模型转为无阈值线性模型



   思路与推导   


如果样本的中心是处在原点的,
那么,完全就可以用模型 来拟合,
而不需要用

因此,可以先把数据中心化,即
 
 
然后使用模型拟合的关系
在得到中心化数据的模型
我们再反推出原始数据的模型
由于中心化后的数据,
所以变量,之间的关系为:
 
 
 
 
从而得到:

 




   实际操作   


1.数据中心化
先将原始数据X,Y进行中心化,得到



2.训练无阈值模型
使用中心化数据X',Y'训练无阈值模型
 

3.反推出原数据的带阈值模型
根据无阈值模型的参数和中心值,
反推出原数据的带阈值模型

其中
                
 











 End 








联系老饼