40个癌症样本400个正常人样本混合一起，如何机器学习呢？

Woof00 发表于 2022-2-9 13:16
- Cutoff 一定是要在training sample上选出来的, 不能在testing sample上.
- Cutoff调整能不能保证性能, ...

也就是说，无解？

microsat 发表于 2022-2-10 12:20
也就是说，无解？

不是的。我的意思是要仔细看看数据是怎么回事，结果又是如何。不能简单的拿accuracy说事了。
我觉得是：
- 如果你用的算法是提供p_hat = p(y=1)的，那就先看看AUC. 如果AUC不错，那说明模型还可以，去optimize一下cutoff就能提高Accuracy了。
- 如果AUC都很差，那就要看看数据到底怎么样了。主要先要比对train和test data，看看是不是相似的。这是所有模型的假设，训练数据和测试是同分布的。如果不是，这就不是普通机器学习的范畴了，去看看covariate shift或者transfer learning的方法（这是个深坑）。

如果真的数据不同分布了，强烈建议，如果可以重新换个数据集吧。不然处理起来太费劲了，不是没有办法，而是很多办法都是针对特定情况才有用的。

1. DL, ML的角度, 加权和SMOTE等很多处理sample imbalance的方法, cutoff对sensivity and speicficity都有影响
2. 统计学上来说, 40个cancer sample太少了, 检验效能太低, 结果不可靠, 表现之一为模型不收敛, 最简单的解决方法就是增加样本量, 病理slide有很多库的, 如果需要WSI, 在TCGA和TICA里边各种cancer type的svs格式的也是很多的, 如果实在不行, 使用 augmentation也可以尝试
3. 从病理的角度来说, 如果你的training set里cancer图片里边cancer的表现, 比如染色体异常, mitosis异常等判断恶性的标准是否有clear cut, 有不少恶性肿瘤的表现不少本身就是borderline, 病理医生都不好判断, 需要IHC染色等其他手段协助, 也就是说数据本身的特质也可能是sentivity和specificity差别的原因, 尤其在小样本的时候.