第二课:逻辑回归与梯度下降
逻辑回归
【总结】逻辑回归总结
作者 : 老饼 日期 : 2022-06-26 03:35:58 更新 : 2022-09-24 17:23:39
本站原创文章,转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com


本文总结逻辑回归算法的原理、模型、和求解。

是对逻辑回归算法的一个简单精要总结。



  01.  逻辑回归模型原理  


逻辑回归模型是用于做二分类,

它输出属于分类1的概率


模型的表达式、损失函数、求解算法如下:




     模型表达式   



相当于用线性函数综合所有变量,再用sigmoid函数将综合值转为概率值。



    模型的损失函数   


用概率最大化作为损失函数,
即取何值时,模型预测正确的概率最大。
损失函数常见的有一般形式和交叉熵形式。
损失函数的一般形式:
 

 
损失函数的交叉熵形式:




   模型求解   


模型无法求得 精确解,
使用梯度下降等算法进行数值求解

 损失函数的梯度公式为:

 


软件包里逻辑回归的求解用的不一定是梯度下降法,但思想是类似的。




   02. 梯度下降法求解逻辑回归  


梯度下降法求解逻辑回归的思路与流程如下:



(1) 先求出待求解函数(损失函数)的梯度公式,                                                                                     
(2) 初始化一个初始解,根据梯度公式的负梯度方向,不断迭代,直到满足要求(例如达到最大迭代次数)







 End 






 

联系小饼