【推导】逻辑回归-损失函数推导

本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com

本文介绍逻辑回归的损失函数的推导,

并补充逻辑回归损失函数一些不同的常用的表达形式

   01. 逻辑回归的损失函数-推导思路   

本节先梳理逻辑回归损失函数的推导思路

   逻辑回归模型回顾   

逻辑回归模型的表达式为：
 
模型输出 P(X) 范围的为(0,1),
它代表的意义是判为1类标签的概率

     逻辑回归损失函数的推导思路    

逻辑回归损失函数，可以基于交叉熵的概念，也可以基于最大似然的概念进行推导
本文基于最大似然的概念进行推导，其主要思路如下
1.先推导出所有样本评估正确的概率              
2.将进行化简取反，就是逻辑回归的损失函数

   02. 逻辑回归所有样本评估正确的概率  

本节推导逻辑回归中所有样本评估正确的概率

    单个样本评估正确的概率   

模型对单个样本评估正确的概率   为：


解释：逻辑回归的输出P代表样本属于类别1的概率，
真实值 y为1 时, P就是评估正确的概率 ;
 真实值 y为0时,P是错误的概率，1-P 就是模型正确的概率

巧妙的操作是，可以用一条式子把上述二式合并如下
 
解释： 当y=1时，第二个括号等于1，当y=0时，第一个括号等于0，化简后与上述两式一致

    所有样本评估正确的概率   

假设每个样本是独立事件，
则总评估正确的概率为所有样本评估正确的积：

   03. 逻辑回归的损失函数   

本节将上述的"所有样本预测正确的概率"进行变形，从而得到逻辑回归的损失函数

    逻辑回归损失函数-推导思想与结果   

我们期待  ​  最大化，而损失函数是最小化，
只要将损失函数设计成  即可。

又由于   中含 有大量的乘号，
为计算方便，我们外套一个对数

最后，损失函数设计如下：
 
 

✍️ 附：详细推导过程   
完整化简过程如下：

   04.  逻辑回归损失函数-推导总结     

本节总结逻辑回归损失函数的推导结果与推导过程

   损失函数推导过程总结    

逻辑回归损失函数的最终推导结果如下：
 
逻辑回归损失函数设计的整体思路如下：
 
这种思路设计的损失函数也叫最大似然损失函数

 End