机器学习模型怎么Debug?

问下各位，机器学习出bug怎么定位？模型不像是程序，出bug不是崩溃了算不出来，而是算出来但是结果错了。但模型代码本身基本都是成熟的，bug定位大多数是在数据端。那怎么知道哪部分数据有问题？或许你可以找出一个两个输入，说模型算错了，但是为了解决这个bug，不得找出一群数据来吗？怎么找呢？

如果说debug(找这群数据)又得用机器学习的话（如聚类），那这个寻找过程可能又有它自己的bug，那不是风险越来越大吗？

https://fullstackdeeplearning.com/spring2021/lecture-7/

做failure analysis,看看能不能找到出问题的数据规律

Offline不行好像还能搞搞 offline可以然后online不行太难了

通过和别人的算法进行对比。就能知道自己的算法，在哪儿存在问题。

很多 visualization 的 tool 在训练过程中看着 loss 基本能发现。。。还有就是跟 benchmark 对比啦，就是别人的算法或者别人的数据集。。