本站原创文章，转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com
逻辑回归一般用于做二分类，但往往也会应用于做多分类
用sklearn实现逻辑回归多分类时，所使用的模型有两种：ovr与multinomial
本文简单讲解ovr和multinomial两种模型的机制分别是什么
本节对sklearn里的多分类逻辑回归模型进行简单介绍
sklearn逻辑回归多分类模型简介
sklearn中提供的两种逻辑回归多分类模型
sklearn中逻辑回归做多分类时有两种选择ovr与multinomial
ovr对每个类别都建立一个模型，每个模型只预测属于某个类别的概率
最后哪个类别的预测概率最高，就是哪个类别
而multinomial则是使用逻辑回归的推广形式softmax回归
关于sklearn逻辑回归多分类的调用方式
在sklearn中调用逻辑回归做多分类与调用二分类时所用的函数是一样的，
都是通过LogisticRegression函数来实现
但如果要指定用的是multinomial还是OVR
就需要设定multi_class的值，如下：
clf = LogisticRegression(multi_class='multinomial') # 使用multinomial模型
clf = LogisticRegression(multi_class='OVR') # 使用OVR模型
如果不设，则默认使用multinomial模型
本节对多类别逻辑回归的两种模型：OVR与multinomial进行详细介绍
逻辑回归-OVR多分类模型
OVR模型介绍
OVR的全称为One-vs-the-rest
它以二分类逻辑回归模型为基础，
设有K个类别，则建立K个模型，
每个模型以类 i 作为1类，其它作为0类。
最后得到K个模型，每个模型预测属于i类的概率
OVR如何进行概率预测
OVR对样本进行概率预测的流程如下
1. 将K个模型对X进行预测
第i个 模型的预测值代表属于i类的概率
2. 将所有预测值归一化，就得到属于各个类别的概率
OVR如何进行类别预测
OVR的类别预测是基于概率预测的基础，
只需先进行概率预测，然后将概率最大的类别作为预测类别
OVR多分类模型总结
简单的说，OVR模型就是有K个类别，就建K个二分类逻辑回归模型，
最后比较哪个类别的预测概率最高，就判为哪一类
逻辑回归-multinomial多分类模型
sklearn中multinomial用的是softmax回归，属于逻辑回归的推广
多类别输出的格式
多类别输出是一个one-hot编码，
它是一个只有0或1的向量，
例如有3类，标签为{0，1，2}，
则类别 0 的输出为[1,0,0],
类别 1 的输出为[0,1,0],
类别 2 的输出为[0,0,1]
softmax模型表达式
softmax回归将逻辑回归的模型表达式推广为：
其中,
形式地来看，就是最终输出一个概率向量，如下：
模型的目标是需要求一组 ,
使得上述模型P 在 每个训练样本上的预测值 更接近训练目标[0,0,0,....1,0,0,0,0].
End