本站原创文章，转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com

使用梯度下降法训练逻辑回归时，需要使用到逻辑回归损失函数的梯度，

本文给出逻辑回归损失函数的梯度推导的详细过程

    推导目标    

逻辑回归的损失函数如下

 
 
 现需推导它的梯度 

    推导过程   

 先对W的单个元素j进行求导：


------由于  ,上式可写为-----
                    
-------------用矩阵形式替换连加形式---------------
  // (p-y)*X的第j列

则整体偏导：
 

其中
(1) X 为m*n矩阵, m为样本数, n为特征个数,
 即一行为一个样本,一列为一特征. 
(2) y,p 为 列向量,             
(3) W为列向量n*1的列向量                       

 End