老饼讲解-机器学习 机器学习 神经网络 深度学习
机器学习入门
1.学前解惑
2.第一课:初探模型
3.第二课:逻辑回归与梯度下降
4.第三课:决策树
5.第四课:逻辑回归与决策树补充
6.第五课:常见的其它算法
7.第六课:综合应用

【经验】AUC多少才有效果

作者 : 老饼 发表日期 : 2022-06-28 13:22:11 更新日期 : 2024-01-11 14:10:09
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



AUC是二分类模型的一种常用评估指标,那么AUC要达到多少模型才有效果呢

本文分享笔者个人对AUC的使用经验,并通过一个小实验具体地展示AUC与模型效果的关系

通过本文,可以具体地了解,AUC要达到多少才有意义,才可以令模型投产





     01.AUC多少才有效果-经验值   



本节分享笔者对于AUC与模型效果之间的关系的感性经验



   AUC多少才有效果   


AUC用于评估二分类模型在不同阈值下的综合效果,它代表着模型虚警率为0.5时的期望查全率
AUC越高,越有可能挑选到一个阈值使得模型FPR尽量低的同时,又能令TPR尽量的高

那么,AUC要达到多少,模型才算有效果呢?
下面分享笔者日常建模时对AUC的一个感性经验认识:
AUC<=0.58:模型毫无效果                                
0.58<AUC<=0.63:模型可能有效,也可能没效                     
   0.63<AUC<=0.68:模型开始生效,但模型投产很难真正有效益   
    0.68<AUC<=0.73:模型开始生效,模型投产可能会有一定的效益
   0.73<AUC<=0.78:模型已经生效,模型投产基本会有效益         
0.78<AUC<=0.83:模型强                                                   
0.83<AUC<=0.88:模型很强                                                
          0.88>AUC :模型超级强                                            
 虽然笔者也想按0.6、0.7、0.8....这样进行区分,但AUC的效果变化的确不是这么整齐...
总的来说,一般0.7~0.8之间的AUC是日常比较正常的有效数值,AUC达到0.75就算比较好了
但AUC具体多少才可以投产,还需要根据具体业务具体分析





     02.AUC多少才有效果-小实验     




本节通过一个小实验,具体地展示不同AUC值的效果,进一步具体认识AUC多少才有效果




  AUC实验数据生成  


分别由 和  生成两组数据,
 具体数据与ROC曲线如下:
 AUC与对应的ROC曲线 
 两组数据的AUC分别为0.664和0.745, 下面我们分别分析它们在项目中的实际效果



    不同AUC的效果分析   


上述实验中,我们得到了AUC分别为0.745与0.664的两组数据,下面我们分析它们的实际效果
 
AUC=0.745的效果分析  
 
 在AUC=0.745的FPR-TPR里,我们挑得性价比比较好的组合是:查全率,虚警率 [0.2,0.58]
对于一般业务来说,投入20%的虚警成本,排查出58%的目标样本,应该是挺有价值了
 例如,小贷中,虽然损失了20%的好客户,但是排掉了58%的坏客户
58%坏客户带来的损失远远大于20%好客户带来的利润,这时候使用模型的价值就非常明显了
 
  AUC=0.664的效果分析  
 
 在AUC=0.664的FPR-TPR里,我们挑得性价比比较好的组合是:查全率,虚警率 [0.1,0.32]
对于一般业务来说,投入10%的虚警成本,排查32%的目标样本,
虽然也是有价值,但排查出的目标样本占比还是过少了
因此,0.66的AUC不是不可用,这时候模型已经是有区分度了,只是对于实际使用,力度不够




  AUC效果实验-总结  


AUC=0.666 代表模型对目标样本已经有初步的识别度
AUC=0.745 代表模型不仅有识别度,对目标样本还有较大的识别力度
 用人话来说,0.66代表模型还弱,还需要继续优化,0.75代表模型基本已经有不错的商用价值了
以上都为实验数据,细节仅为参考,但本实验结论与实际项目中经验结论基本是一致的






好了,上述就是关于AUC多少才有效果的所有内容了~







 End 





联系老饼