imbalanced dataset 技术问题

大家好，

小弟有个技术性问题想问问大家的意见
对于imbalanced dataset来说，用哪个evaluation metric比较合适？
ROC-AUC curve还是F1 score？
具体原因是什么？
谢谢！

两者各有利弊。

如果看confusion matrix的话，TP FP FN TN数据大部分都集中在TN里（假设1比0少很多）。
ROC-AUC是看TPR vs FPR，所以计算FPR的时候会用到TN，导致大部分数据点其实都集中在curve的一端，curve上大部分地方数据很稀疏，所以其实对模型的好坏不是很敏感。ROC-AUC更像是描述“模型究竟能多大程度上区分TPR和FPR”，而不是“怎样能同时降低FP和FN”。但是好处是不需要考虑threshold。

F1是precision recall的harmonic mean，所以两个计算都不需要用到TN，不会有分母特别大数据分不开的情况，对模型好坏更敏感。坏处是需要自定义threshold。实际建模的时候可以用precision-recall curve来确定threshold，来权衡FP和FN的cost。

总的来说两者都可以用。工作当中应该还是根据具体情况来选择，面试的话我的经验是两种的好坏能言之成理就可以。希望有帮助。

Precision/Recall/F score

https://machinelearningmastery.c ... fication-in-python/

说说我的理解，应该选ROC-AUC curve，因为它不依赖于正负样本的分布，而F1只是beta =1 的分数

AUC-Precision and Recall curve
AUC-ROC is less sensitive to class mix which also makes it difficult to differentiate performances of two models

谢谢LS二位
我又做了些research
好像这两个都可以 但是F1 score貌似是用于multiclass 而ROC-AUC用于binary
不知道对不对

我觉得两个都可以，F1里面的beta可以变，根据不同的beta来看你是更focus在precision还是recall

reudnetwork 发表于 2019-4-2 01:59
两者各有利弊。

如果看confusion matrix的话，TP FP FN TN数据大部分都集中在TN里（假设1比0少很多）。
...

非常感谢！
多问一句 是如何用precision-recall curve来确定thresold的？ 我印象中好像是用ROC-AUC curve可以来确定thresold （找TPR的最大值和FPR的最小值之间的balance）
谢谢

hjsdssz 发表于 2019-4-2 11:38
非常感谢！
多问一句 是如何用precision-recall curve来确定thresold的？ 我印象中好像是用ROC-AUC curv ...

在实际问题中一般会根据type 1 error和type 2 error的cost来构建loss function去优化

hjsdssz 发表于 2019-4-2 11:38
非常感谢！
多问一句 是如何用precision-recall curve来确定thresold的？ 我印象中好像是用ROC-AUC curv ...

可以设想一个情境，比如电商要找出诈骗交易。threshold作为hyperparameter可以确定FP和FN之间的tradeoff。求总的cost function需要知道FP和FN分别的cost。FN会造成实际的财产损失（没有查出诈骗，钱被骗走了），FN有可能造成间接损失（错误得增加了安全措施，过于繁琐造成用户离开）。cost function可以根据这两者来构造，甚至再叠加模型来预测FP和FN的损失来求total cost作为objective function。实际操作的时候也可以把高于threshold的case单独拿出来，再过另一个model，来降低FP的比例。

以只是举一个例子，应对面试应该足够。实战还是需要具体分析。