DS/ML的尽头是造假？

先定义一下，这里的造假指制度性造假，就是说造假是管理层默许甚至鼓励的。如果造假被揭发、曝光之后及时会受到处分，这种不算。


model和产品的metric并不是任何时候都会是希望的那样。但是还只做到一般，初步结果良好，manager就已经约了skip和其他组的VP要present成功经验了。然而中途发现一些技术性问题没有正确处理，修正之后新model/产品的metric并没有比baseline更好，甚至更差。
其实manager设一些unrealistic的deadline或者target，甚至结果不确定就提前约好时间做presentation，我就觉得是近乎明示的暗示造假。


某个电视剧的台词，“打官司哪有讲道理的？那道理不在你那边的时候不就不用打了？这样你赢官司岂不和抛硬币差不多？”很不幸我司的管理层就是用这种逻辑做ML的。
metric一定要比baseline好，而且要uniformly地好。要是有些segment好有些segment不好，即使trade-off或者总结之后还是比baseline好，这样也是不行的，“很confusing不够decisive“。既然不decisive就不要move forward啊，不行，其实决定已经做好了，哪怕是一坨大便也要说它好（然后这坨大便就会进production喂给我们吃，想抵抗都不行。）


请问贵司的情形是怎样的呢？

topline metric永远优先 并且review
team会层层加码 要求你model降低复杂度的同时还要保证top line结果好 不然不会让launch的 见过一些MLE因为始终无法让topline有增长就走人了 这也是MLE卷的原因 你好不容易找到一个有一点起色的方法 review时候依旧会由于各种trade off 比如你的增加的复杂度太高而reject导致你半年成果为0 然后就是performance 低 自己主动或者被动的走了

匿名用户 发表于 2024-05-08 16:56:25
跟着华人导师读过PhD的，对这种事见怪不怪了，所以看paper作者是华人的组，我基本避开。我反正是不敢不匿名的

paper又是另外一个故事了 可以使用很多trick 让offline的结果好于SOTA但是research注重的是讲故事 这是大家默认的潜规则了 所以如果某一个work publish了code 以及training中各种细节后依旧有效 就会被大范围使用比如 ResNet

没有真何来造假

248180238 发表于 2024-5-8 16:57
topline metric永远优先 并且review
team会层层加码 要求你model降低复杂度的同时还要保证top line结果好  ...

top down case：高层已经决定好要launch，然后假惺惺叫DS/MLE去做 proof of concept。最会察言观色的manager就直接把组员拿去献祭了。
. 1point3acres
bottom up case：MLE、ML manager需要launch一个ML product，装饰了下metric报上去。上面人看到知道有猫腻，但是也装傻继续往上报，反正有功劳高层钱更多，出事”没想到下面的人这么坏“。

匿名用户 发表于 2024-05-08 17:14:19
. From 1point 3acres bbs高层已经决定好要launch，然后假惺惺叫DS/MLE去做 proof of concept。最会察言观色的manager就直接把组员拿去献祭了。

高层一般不会很specific要launch 某个东西 而会给出一个大方向 当然如果你的vp是这样的 建议抓紧润

呵呵，这年头就是鼓励造假啊！
不造假， 你老板吹出去的饼实现不了，你要被裁！

造假，结果达不到预期，你老板丢面子，你要背锅！

sde也是一样， 屎一样的feature恶心他人，吹上天。 这个年头各行业的文化就是鼓励所有人务虚和造假，因为不造假就是死啊！

这种情况如果没出事就是manager nb领导有方，如果出事就是组员sb，反正manager永远不背锅

时常觉得自己是在给领导根据要求变魔术。要不是过去三小时都在加班试图变魔术我都以为这帖子是我发的了