本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
逻辑回归作为一个基本模型,逻辑回归的相关资料已经很多,
本文不再作深入介绍,仅简单介绍和回顾逻辑回归模型,以便于后续讲解算法的实现。
本节简单介绍逻辑回归模型及其意义
逻辑回归解决什么问题
逻辑回归主要用于做二分类问题,
逻辑回归模型输出目标为 {0,1}的 两类中,属于1类的概率
✍️关于逻辑回归的类别标签
逻辑回归的类别标签一定只能标为 {0,1},而不能标为{-1,1}
当然,这是指理论推导上类别标签只能为{0,1},
在实际应用中,任何类标都可以,
因为任何类标都能转换为{0,1}类标问题,软件会自动转换
逻辑回归-模型表达式
逻辑回归的模型表达式如下
备注:这里的X代表,最后的1用于替代b
逻辑回归模型的意义
逻辑回归模型的意义
逻辑回归模型相当于在一个线性模型的基础上,
套上一个sigmoid函数,从而最终得到一个S型曲线模型
逻辑回归模型输出的意义
由于,逻辑回归的输出范围为(0,1),
它代表的意义是判为1类标签的概率
本文介绍逻辑回归的损失函数和相关求解方法
逻辑回归的损失函数
逻辑回归的损失函数为交叉熵损失函数:
推导过程见《逻辑回归-对数损失函数推导》
逻辑回归的求解算法
逻辑回归的求解目标就是求一个W,使以上损失函数最小化
一般常见的求解算法有:
👉 1. 梯度下降法
👉 2. 牛顿法
梯度下降法的好处是,算法实现和原理都比较简单,
但与牛顿法相比,求解速度没有牛顿法好
所以一般学习上我们使用梯度下降法,但实际应用中,使用牛顿法会更加好
End