本站原创文章，转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com

线性回归模型是机器学习中最简单最经典的一个模型之一，

它的思想是用线性关系去拟合变量与因变量之间的关系。

线性回归虽然简单，但它包含了机器学习的精髓，

学好线性回归模型，是入门机器学习的基石，

本文讲解线性回归模型思想与它的模型表达式、损失函数和求解方法

  01. 线性回归思想  

本节介绍线性回归的思想

    线性回归思想    

线性回归模型是希望找到一条直线(平面或超平面)去拟合样本数据点
最佳拟合时，直线与样本的总均方误差最小

在x为一维时，y 与 x 组成二维平面时，可如下理解
 
 线性回归模型以一条直线拟合数据


拟合原则是总均方误差最小
  

  02. 模型表达式与损失函数  

本节介绍线性回归的模型表达式与损失函数

   线性回归模型表达式与损失函数   

 模型表达式
 

损失函数
 线性回归的损失函数为模型预测值与真实值的均方差

   
 备注：上标 (i) 代表第i个样本,m为样本个数，n为变量个数

   线性回归模型表达式与损失函数 - 矩阵形式   

为书写方例，往往写成矩阵形式
 模型表达式
 

损失函数
 

✍️说明
 矩阵形式中的X是在原变量再加上一列常数1:  
 W也比对应地比原来的多一个，这样做的目的是把 b揉进了W里
 

  03. 模型的求解  

本节讲解线性回归模型的系数求解方法

   线性回归模型求解  

线性回归模型的求解，直接使用最小二乘法求解就可以
 最小二乘法的求解公式如下：
  
 

 
使用该公式即可求得令损失函数L(W)取得最小值的W

 End