作为一名小ds 觉得自己在组内很卑微

入职几个月了  一直在做一个项目 是要提高text classification的准确率。这个项目有好几个难点… 一个是还要求recall要明显提高 还有一个就是数据由于是人工标注的所以很乱… 而且有差不多1000个class吧（不是觉得1000class特别多但是感觉拿到快100%的准确率很难）试了各种数据处理的方法 还有我自愿加班ml，dl没日没夜的调参 平常还阅读论文找方法 但准确率就提高了3%  但总体还是不高……
但是没有对比就没有伤害qvq… 同组一个senior的同事拿着类似的data做出来了接近100%的准确率！我当时都惊了 一看是在她选的700个test data上的结果。她觉得原数据集不好 所以选了新的700个。然后各种大老板还有pm都特别高兴 而且由于一些原因她的项目没有deploy。我不敢自己只选700个当test… 因为这个是真的要给人用的啊
于是…… 这个同事在上周组会上强调… 她觉得模型很好用 只要微调就可以在各种project使用 包括在我的项目上。然后点名说我没有注意到细节 才处理的不好。但我们用的模型都是我写的啊… 我觉得她没有恶意吧 毕竟ds就是要注意这种模型还有数据的细节。

今天下午 project manager 开了个meeting 让我还有我老板还有我项目的合作方 一起学习这个同事做的… 原话是：walk through and learn the great work she has done

看到这个 瞬间我觉得自己好卑微啊…  还连累了我老板跟合作方。我老板一直知道我这个项目难 鼓励我，现在看到别人说我干的不够好，觉得自己也给老板丢脸了hhh 可能是我玻璃心了 点踩也可以让我长长记性hhh。

楼主不要妄自菲薄，因为这个Sr DS话术强，而且可能做了类似p-hacking的事情而质疑你自己，大可不必。

为了得到最好的模型，training data的选择你可以有创意到上火星去，但是validation和testing是不能乱搞的，testing set就是testing set，而不是一个curated testing set。

我其实没看明白选了700个当test data是什么意思，如果feature selection把1000降到700，而testing表现出色，那她的模型没话说，否则就是p-hacking一个性质的事儿，generalizability将一塌糊涂。或者testing set本来有1w个数据点，她选择了700个来test，那这操作太迷了，建议楼主尽快跳槽。

Andrew Ng今年的推广重点就是data-centric machine learning methods，核心是提升数据质量的成效远大于提升模型，因为ML模型已经非常state of the art了，突破口都在数据的质量上，详见Deep Learning AI最新演讲的第5页：https://www.deeplearning.ai/wp-c ... Data-centric-AI.pdf

你说模型要用在人身上，是不是做biomed算法的？我也是AI healthcare的DS，组里MLE对于DS的态度永远站在Dunning Kruger's curve的山顶上，充满傲慢。对于我确定的理论/方法，不管他们怎么PUA，我的态度都很强硬，对事不对人地辩论，其实到最后除了你，没有人说得出所以然。对于我不确定的理论/方法，我绝对不会说“xx很容易”，要么搞清楚，要么闭嘴。

我觉得你的不自信可能源于你站在DK曲线的谷底，你做得对（学理论、读paper），慢慢会好的。

1000个class，700个data point的test data，那岂不是有些class甚至没有在test里出现？LZ当时在她present的时候就应该立刻质疑她，她都在组会上拉踩LZ的project了，LZ可不能再当包子了。
不过既然你们还有一个learning session，所以LZ还有机会扳回一城。建议LZ搜集好以下信息，为什么她的模型不能直接用于你的数据；为什么她的模型不可靠，想出具体的反例和business case。如果你能在这个session上证明你比对方考虑的更加周到，那这整件事情也未尝不是你的一个机会。

100%准确率，1000 class，test set 700个sample，我觉得可以出个面试题了。
话说如果周围的同事看到100%准确率的模型都高兴的不行的话，楼主可以跑路了。

Fake/Random 发表于 2021-07-12 19:48:55
楼主不要妄自菲薄，因为这个Sr DS话术强，而且可能做了类似p-hacking的事情而质疑你自己，大可不必。

为了得到最好的模型，training data的选择你可以有创意到上火星去，但是va

说得好。蹲一个楼主后续

Fake/Random 发表于 2021-07-12 19:48:55
楼主不要妄自菲薄，因为这个Sr DS话术强，而且可能做了类似p-hacking的事情而质疑你自己，大可不必。

为了得到最好的模型，training data的选择你可以有创意到上火星去，但是va

支持一下！1000个class的模型拿700个数据点做test有点谜啊……lz能否用这个sr ds的pipeline拿旧的data split来训练对比一下？

不懂技术的人做管理就是会有这样的情况。如果楼主需要准备一个presentation 对sr DS进行反击 从数据 到算法 到DS life cycle design 如果楼主没有办法defend自己的idea 打击对手的话 还是换组或者干脆跳槽到一个懂技术的manager底下吧

If you think it is cherry-picking, you need to speak up. And you can ask her to show her result on all the classes.

就这还senior 要我早喷死她了。楼主你是找不到理由喷她吗？

我感觉对于text cls调参意义不大吧，数据质量和问题定义肯定是最重要的，读paper可能也没什么新方法。不过还是推荐读一手how to fine tune bert for text cls吧