第一课:初探模型
线性回归
【原理】线性回归原理
作者 : 老饼 日期 : 2022-06-26 03:28:38 更新 : 2022-09-27 17:18:53
本站原创文章,转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com


线性回归模型是机器学习中最简单最经典的一个模型之一,

它的思想是用线性关系去拟合变量与因变量之间的关系。

线性回归虽然简单,但它包含了机器学习的精髓,

学好线性回归模型,是入门机器学习的基石,

本文讲解线性回归模型思想与它的模型表达式、损失函数和求解方法。




  01. 线性回归思想  


线性回归模型是希望找到一条直线(平面或超平面)去拟合样本数据点。
最佳拟合时,直线与样本的总均方误差最小。




在x为一维时,y 与 x 组成二维平面时,可如下理解


线性回归模型以一条直线拟合数据
拟合原则是总均方误差最小
 
 







  02. 模型表达式与损失函数  


线性回归的模型表达式与损失函数如下


   一般形式   


 模型表达式
 
损失函数
 
线性回归的损失函数为模型预测值与真实值的均方差

   
备注:上标 (i) 代表第i个样本,m为样本个数,n为变量个数。


为书写方例,我们写成矩阵形式


   矩阵形式   


模型表达式
 

 
备注:这里的X是原变量再加上一列常数1: 
损失函数
 

注意:矩阵形式里对原始X增加了一列常数1,则W比原来的变量多了一个,目的是把 b揉进了W里。




  03. 模型的求解  



模型的求解直接使用最小二乘法求解就可以



最小二乘法的求解公式如下:



使用该公式即可求得令损失函数L(W)取得最小值的W。








 End 






联系小饼