本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
本文辨析线性回归、岭回归、Lasso三者的异同点
用于线性模型的总结与学习，进一步理解和掌握各个线性模型的特点
本节辨析线性回归、岭回归和Lasso相同的地方
线性回归、岭回归和Lasso的相同之处
线性回归、岭回归和Lasso同为线性模型
同样用于解决线性问题，
表达式同样适用于
✍️关于阈值b
由于岭回归和Lasso会加入正则项，而b是不需要惩罚的
所以岭回归和Lasso一般会先通过中心化转为无阈值线性模型
本节辨析线性回归、岭回归和Lasso差异的地方
损失函数的差异
👉 线性回归 ：均方差
👉 岭回归 ：均方差+2范正则化
👉 Lasso ：均方差+1范正则化
解的精确度差异
线性回归，岭回归能求得精确解
Lasso用坐标下降法寻解，更为复杂，也意味着不一定能求得全局最优解
功能的差异
三者是逐步迭代，由简单到繁杂，功能也更加完善
线性回归
最原始的回归，损失函数用均方差
缺点：系数有可能极大,带来极为不合理的模型
岭回归
牺牲回归精确度来避免系数过大
缺点：几乎不会有0系数，这样会导致一些与y无关的变量，系数仍不为0
Lasso
牺牲回归精确度，并牺牲求解精度，来避免系数过大，且允许0系数的存在
缺点：求解更为复杂，未必取得全局最优解
参考资料
《为什么Lasso回归可以做特征选择》：https://blog.csdn.net/weixin_46649052/article/details/114854275
End