【原理】线性回归原理

本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com

线性回归是一个最简单与最基本的机器学习模型，

本文讲解线性回归是什么、线性回归的损失函数与求解方法

  01. 线性回归模型思想概述   

本节讲解线性回归模型的思想与及几何意义

   线性回归-模型思想与意义   

线性回归模型思想
线性回归模型是希望找到一条直线(平面或超平面)去拟合采到的样本数据点
最佳拟合时，直线与样本的总均方误差最小

   线性回归的几何意义   
在x为一维时，y与x组成二维平面，几何意义如下理解：
 线性回归模型以一条直线拟合数据

 拟合原则是总均方误差最小
  

  02. 线性回归-模型公式  

本节介绍线性回归模型的数学表达式与损失函数

   线性回归模型数学表达式与损失函数   

 模型表达式
线性回归模型的数学表达式如下
 

损失函数
 线性回归的损失函数为模型预测值与真实值的均方差，如下

   
备注：上标 (i) 代表第i个样本,m为样本个数，n为变量个数

   线性回归模型数学表达式与损失函数-矩阵形式   

为书写方便，一般将线性回归的模型表达式、损失函数写成矩阵形式，则如下：
模型表达式
 线性回归模型表达式的矩阵形式如下：
 
  备注：这里的X是原变量再加上一列常数1: 
损失函数
 线性回归损失函数的矩阵形式如下：
  

✍️注意：关于矩阵形式里X的常数列
矩阵形式里对原始X增加了一列常数1，
同时，W的元素会比原来增加一个，
这样的目的相当于把 b揉进了W里

  03. 线性回归模型的求解  

本节讲解线性回归模型的求解方法，

包括最小二乘解公式以及如何利用QR分解优化最小二乘解的计算难度

   线性回归模型的求解-简述   

线性回归问题实际就是最小二乘解问题，可以直接使用最小二乘解公式，
但实际更多是使用QR分解的方式，避开最小二乘解中复杂的逆矩阵计算
下面简单介绍求解的公式，具体的公式推导见《最小二乘解》

   最小二乘解公式   

模型的求解直接使用最小二乘法求解就可以
最小二乘法的求解公式如下：

 


使用该公式即可求得令损失函数L(W)取得最小值的W。

   QR分解优化最小二乘解   

在实际使用计算机求解最小二乘解时，往往并不是直接使用最小二乘解公式，
主要是因为最小二乘解公式需要求的逆矩阵，这样计算较为复杂
更为普遍的一个方法是使用QR分解方法计算最小二乘解
QR分解方法求解最小二乘解
 QR分解方法求解最小二乘解的计算过程如下：

1.对X 进行QR分解
对 X 进行QR分解，得到矩阵Q和R，
如下：
 
其中
Q列与列之间两两正交，
R则为非奇异上三角矩阵

2.使用公式求解W
使用以下公式解得W：

  

从上述公式可以看出，求解时只需求解R的逆矩阵，
而R是一个上三解矩阵，它的逆比的逆更容易求取

   ✍️注意事项   
   不一定满秩，也就不一定有逆矩阵，以上求解方法将失效

 End