第一课:初探模型
线性回归
【原理】线性回归原理
作者 : 老饼 日期 : 2022-06-26 03:28:38 更新 : 2022-12-02 08:38:07
本站原创文章,转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com


线性回归模型是机器学习中最简单最经典的一个模型之一,

它的思想是用线性关系去拟合变量与因变量之间的关系。

线性回归虽然简单,但它包含了机器学习的精髓,

学好线性回归模型,是入门机器学习的基石,

本文讲解线性回归模型思想与它的模型表达式、损失函数和求解方法




  01. 线性回归思想  


本节介绍线性回归的思想


    线性回归思想    


线性回归模型是希望找到一条直线(平面或超平面)去拟合样本数据点
最佳拟合时,直线与样本的总均方误差最小
在x为一维时,y 与 x 组成二维平面时,可如下理解
 
 
线性回归模型以一条直线拟合数据


拟合原则是总均方误差最小
 
 







  02. 模型表达式与损失函数  


本节介绍线性回归的模型表达式与损失函数


   线性回归模型表达式与损失函数   


 模型表达式
 
损失函数
 线性回归的损失函数为模型预测值与真实值的均方差

   
 备注:上标 (i) 代表第i个样本,m为样本个数,n为变量个数




   线性回归模型表达式与损失函数 - 矩阵形式   


为书写方例,往往写成矩阵形式
 
模型表达式
 
损失函数
 
✍️说明
 
矩阵形式中的X是在原变量再加上一列常数1:  
 W也比对应地比原来的多一个,这样做的目的是把 b揉进了W里
 





  03. 模型的求解  


本节讲解线性回归模型的系数求解方法


   线性回归模型求解  


线性回归模型的求解,直接使用最小二乘法求解就可以
 
最小二乘法的求解公式如下:
 
 
 

 
使用该公式即可求得令损失函数L(W)取得最小值的W








 End 






联系老饼