老饼讲解-机器学习 机器学习 神经网络 深度学习
机器学习入门
1.学前解惑
2.第一课:初探模型
3.第二课:逻辑回归与梯度下降
4.第三课:决策树
5.第四课:逻辑回归与决策树补充
6.第五课:常见的其它算法
7.第六课:综合应用

【推导】逻辑回归损失函数推导过程

作者 : 老饼 发表日期 : 2022-09-24 16:42:46 更新日期 : 2023-12-18 23:32:54
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com


在逻辑回归中,损失函数的推导是一个重要的知识点,

本文给出逻辑回归损失函数的详细过程,包括常用形式和交叉熵形式




   01. 逻辑回归损失函数推导过程   



本节从最大似然角度推导逻辑回归的损失函数



    逻辑回归的模型表达式回顾    


逻辑回归的模型表达式如下
 

  备注:这里的X代表,最后的1用于替代b。



   样本评估正确的概率   


单个样本评估正确的概率
先看单个样本评估正确的概率

模型对单个样本评估正确的概率   为:



解释:

 逻辑回归的输出就是属于类别1的概率,
真实值 y为1 时, P就是评估正确的概率 ;
 真实值 y为0时,P是错误的概率,1-P 就是模型正确的概率
----------------------------------------------------
巧妙的操作是,可以用一条式子把上述二式合并如下
 

 
 
解释:
 当y=1时,第二个括号等于1 
当y=0时,第一个括号等于0
化简后与上述两式一致
所有样本评估正确的概率   
假设每个样本是独立事件,
则总评估正确的概率为所有样本评估正确的积
 
   
   



   逻辑回归-损失函数   


我们期待  ​  最大化,
只要将损失函数设计成  即可。

又由于   中含 有大量的乘号,
为计算方便,我们外套一个对数。

最后,损失函数设计如下:
 



备注:化简的具体过程见本文第2节
✍️说明
在连乘的情况下,使用对数使其转为加号是常用的操作
因为对数是单调函数,能让P最大化的W,同样会是令lnP最大化的W



  逻辑回归损失函数-设计思路总结  


逻辑回归损失函数设计的整体思路为:
 逻辑回归损失函数推导过程  
 这种思路设计的损失函数也叫最大似然损失函数






   02. 逻辑回归损失函数化简过程   



本节补充上节逻辑回归损失函数的化简过程的具体细节



    本节的推导目标    


本节的推导目标是将损失函数从原始形式化简为最终形式
即将逻辑回归损失函数的原始形式



化简成逻辑回归损失函数的最终形式
 
 



    逻辑回归损失函数-化简过程   


逻辑回归损失函数的化简化过具体如下:





   03. 逻辑回归损失函数的交叉熵形式   



本节补充逻辑回归损失函数的交叉熵形式及其推导



    逻辑回归损失函数-交叉熵形式    


逻辑回归的损失函数还有一种非常常见的形式,如下:
 
它称为逻辑回归损失函数的交叉熵形式



    逻辑回归损失函数-交叉熵形式推导过程    


下面从逻辑回归损失函数的原始形式推导出交叉熵形式
推导过程如下:
 
✍️补充:关于逻辑回归损失函数的交叉熵形式
 虽然上面由逻辑回归损失函数的最大似然形式推导出交叉熵形式
但上述的推导仅是为了说明交叉熵形式与最大似然形式的一致性
而逻辑回归损失函数的交叉熵的意义和由来在学习了熵的内容后再进行补充





以上就是逻辑回归损失函数的全部推导过程了~








 End 




联系老饼