第二课:逻辑回归与梯度下降
逻辑回归
【推导】逻辑回归梯度公式推导
作者 : 老饼 日期 : 2022-06-26 03:58:44 更新 : 2022-11-29 11:25:14
本站原创文章,转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com


使用梯度下降法训练逻辑回归时,需要使用到逻辑回归损失函数的梯度,

本文给出逻辑回归损失函数的梯度推导的详细过程



    推导目标    


逻辑回归的损失函数如下

 
 
 现需推导它的梯度 



    推导过程   


 先对W的单个元素j进行求导:


------由于  ,上式可写为-----
                    
-------------用矩阵形式替换连加形式---------------
  // (p-y)*X的第j列
则整体偏导:
 


其中
(1) X 为m*n矩阵, m为样本数, n为特征个数,
 即一行为一个样本,一列为一特征. 
(2) y,p 为 列向量,             
(3) W为列向量n*1的列向量                       






 End 








联系老饼