第二课:逻辑回归与梯度下降
逻辑回归
【推导】逻辑回归梯度公式推导
作者 : 老饼 日期 : 2022-06-26 03:58:44 更新 : 2022-09-24 17:21:10
本站原创文章,转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com


使用梯度下降法训练逻辑回归时,需要使用到逻辑回归损失函数的梯度,

本文给出逻辑回归损失函数的梯度推导的详细过程。




    推导目标    


求损失函数

 

的梯度

 



    推导过程   


 对W第 j个 元素求导:

------由于  ,上式可写为-----
                    
-------------用矩阵形式替换连加形式---------------
  // (p-y)*X的第j列。


则整体偏导:





其中
(1) X 为m*n矩阵, m为样本数, n为特征个数,
 即一行为一个样本,一列为一特征. 
(2) y,p 为 列向量,             
(3) W为列向量n*1的列向量                       






 End 








联系小饼