第二课:逻辑回归与梯度下降
逻辑回归
【推导】逻辑回归损失函数推导过程
作者 : 老饼 日期 : 2022-09-24 16:42:46 更新 : 2022-11-29 11:39:15
本站原创文章,转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com


在逻辑回归中,损失函数的推导是一个重要的知识点,

本文给出逻辑回归损失函数的详细过程,包括常用形式和交叉熵形式




   01. 逻辑回归损失函数推导过程   


本节从最大似然角度推导逻辑回归的损失函数


    逻辑回归的模型表达式回顾    


逻辑回归的模型表达式如下
 

  备注:这里的X代表,最后的1用于替代b。



   样本评估正确的概率   


单个样本评估正确的概率
先看单个样本评估正确的概率

模型对单个样本评估正确的概率   为:



解释:

 逻辑回归的输出就是属于类别1的概率,
真实值 y为1 时, P就是评估正确的概率 ;
 真实值 y为0时,P是错误的概率,1-P 就是模型正确的概率
----------------------------------------------------
巧妙的操作是,可以用一条式子把上述二式合并如下
 

 
 
解释:
 当y=1时,第二个括号等于1 
当y=0时,第一个括号等于0
化简后与上述两式一致
所有样本评估正确的概率   
假设每个样本是独立事件,
则总评估正确的概率为所有样本评估正确的积
 
   
   



   逻辑回归-损失函数   


我们期待  ​  最大化,
只要将损失函数设计成  即可。

又由于   中含 有大量的乘号,
为计算方便,我们外套一个对数。

最后,损失函数设计如下:
 



备注:化简的具体过程见本文第2节
✍️说明
在连乘的情况下,使用对数使其转为加号是常用的操作
因为对数是单调函数,能让P最大化的W,同样会是令lnP最大化的W



  逻辑回归损失函数-设计思路总结  


逻辑回归损失函数设计的整体思路为:
 
这种思路设计的损失函数也叫最大似然损失函数






   02. 逻辑回归损失函数化简过程   


本节补充上节逻辑回归损失函数的化简过程的具体细节


    目标    


将损失函数



化简成
 
 



    化简过程   







   03. 损失函数的交叉熵形式   


本节补充逻辑回归损失函数的交叉熵形式及其推导


    交叉熵形式    


逻辑回归还有一种形式非常常见,如下:
 
它称为逻辑回归损失函数的交叉熵形式



    交叉熵形式推导过程    









 End 






联系老饼