作为一名小ds 觉得自己在组内很卑微

lz 已经做得很好了，那个同事能吹牛瞎整，最后production肯定露馅儿呀。

希望update测试集非随机选择并小于类别数

太扯淡了吧 那我不如把模型能分对的数据都拿出来当测试集呢

本能的质疑任何99%以上的结果

还可以100%。。。test set leakage了吧。
而且说的选了700 个是什么意思， 不会是专门选了700个让accuracy 看着更高吧。感觉这里面有问题

这周末网上看了这么句话：
“Confidence is not 'they will like me', confidence is 'I will be fine if they don't'. ”

We should make work the least stressful thing in our life, because it does not matter when you look back.

1000个类别 然后700 testing 数据，然后100%准确率~~~ 这... 这... 这种做法，我每次都能达到100%... 这水平还senior，这个senior水平远不如题主你...

看到100%的第一反应肯定是model或者data哪里出问题了（比如precision 100% 但是recall很低 或者dataset not balanced，data leak）
指定testset很biased的 至少train validation test要做random split和cv吧
从feature本身出发确实比改参数的影响力大 是一个思考方向
楼主可以从overall value上面来讲 比如真实数据存在多样性呀，precision recall对应的impact/value啊。
如果听完srds讲的feature觉得有道理就学习到了，听完如果觉得自己的project不能这么做，还是要相信自己的判断 沟通清楚呀

看了一下楼上讨论的1000classes 700 test set，我觉得这个含义是说有700条测试数据，每一条都在这1000个cls里预测，并不代表没有覆盖1000 classes。
退回来说选取了700测试数据从而使得准确率很高这事是否合理，是否使得generality变差很多，我觉得也看具体是怎样去trim down这个测试数据。如果说测试数据的分布能大致反映真实应用场景的分布（举个例子，做文本分类，如果说90%的文本都是古典小说，24%是科普内容，1%是日常聊天，那测试的时候忽略这1%我觉得也是可以接受的）
所以我觉得楼上有个建议很棒，就是如果lz真的有理有据地提出对于这个approach对于你的project的不合理之处，我觉得是值得做的。