关于ROC AUC的问题

1. 为什么算AUC能比较不同模型？
没懂为什么比较下面的面积就是比较不同的模型

2. 有了ROC怎么选threshold？
记得在哪里看到过是选离（0，1)最近的点

谢谢xdjm！

对于1），其实理解这句话就可以
When using normalized units, the area under the curve (often referred to as simply the AUC) is equal to the probability that a classifier will rank a randomly chosen positive instance higher than a randomly chosen negative one (assuming 'positive' ranks higher than 'negative'). https://en.wikipedia.org/wiki/Receiver_operating_characteristic
所以自然的 把positive的prob排得比negative高的模型更好

对于 2）
我不觉得这个statement是对的，如果PR AUC的话则根据实际business problem选取。
可以看 https://towardsdatascience.com/u ... -curve-68b2303cc9c5 这个文章
理解ROC AUC最好的方法就是画两个prob distribution然后取一条线(threshold)，再看AUC图上的点是如何变化的根据那条线的移动

赵晓得木 发表于 2021-1-29 06:37
对于1），其实理解这句话就可以
When using normalized units, the area under the curve (often referred ...

谢谢回复！！

1）那段话记下了，但是推导感觉没太看懂，我再去搜搜其他讲解，如果你知道有什么其他讲解证明这句话的，希望求帮助~~

2）这个post我也看过！我觉得非常棒，对理解ROC是怎么画出来的很有帮助。谢谢分享！

1的推导网上应该能搜到 一般统计课上讲到这个都会推一下 用convolution算积分

2是个research  problem 常用的有比如Yudon index什么的， 或者理论上离左上角最近的点

UBSHY 发表于 2021-3-24 08:57
1的推导网上应该能搜到 一般统计课上讲到这个都会推一下 用convolution算积分

2是个research  problem 常 ...

1 有没有intuitive的理解方法？或者explain it in layman terms?

wujiayikelly 发表于 2021-03-24 19:29:27
1 有没有intuitive的理解方法？或者explain it in layman terms?

你要是问能不能intuitively得出AUC=Pr(X>Y), where X > Y stochastically 的话 我认为没有 但是从AUC=Pr(X>Y)能不能intuitively得出AUC可以用来比较选择biomarker或者model的话当然是可以的

UBSHY 发表于 2021-3-25 23:01
你要是问能不能intuitively得出AUC=Pr(X>Y), where X > Y stochastically 的话 我认为没有 但是从AUC=Pr(X ...

嗯嗯，问的是后者！

wujiayikelly 发表于 2021-03-25 08:53:36
嗯嗯，问的是后者！

所以你还不理解嘛😂 你搜搜sensitivity specificity的图一般会给你两个distribution部分叠在一起的图 就比较intuitive