DS/ML的尽头是造假？

对的 就是story modeling…

248180238 发表于 2024-5-8 16:57
topline metric永远优先 并且review
team会层层加码 要求你model降低复杂度的同时还要保证top line结果好  ...

啥叫topline metric？
是指最重要的business metric吗？所以topline可以理解为：该business有10个metric，其中最重要的2个可以叫做topline？那么topline就是top2的意思？

匿名用户 发表于 2024-5-8 20:51
呵呵，这年头就是鼓励造假啊！
不造假， 你老板吹出去的饼实现不了，你要被裁！

Which country is this?

低级造假应该不会，风险很大，但是DS和MLE明显很考情商。

其实我现在觉得MLE性价比极低，干着像销售，topline大增分红就是花生米，不增就是PIP裁员。你是老板怕不怕？

analytics就更加玄妙了， 欢迎到meta参观各种testing, 反正impact也是要第一考虑的， 失败的事情大多没有impact :) 。


哦不，最近topline 大增的分红就是： we should be grateful to still have a job :)

作为一个mle manager，为了帮组员升职，我凭空创造出好多metrics了，大致都是组员哼哧哼哧干半年，offline significant improved，上线一看，完球，online没变化，那没办法，不能半年白干呀，只好做数据分析，在哪个细分领域improve了，或者是某个以前没关注的数据提升了，这个数据potentially可以提高用户留存率，然后去跟上级sell，反正就是把feature ship了再说，多搜集点数据再看看，有枣没枣先打一杆子。

实际上是三种情况
1. ML是drive business的血肉。这种情况下就不会有topdown的造假，因为leadership也得拿一摞metric交差。
2. topline是假的但ML是真的。比如你虽然设定了DAU和infra cost，但是leadership需要的只是某个ML initiative提供的独特内容、此时topline实际上只是个guardrail。
2. ML是假的，纯面子工程。

第一种情况造假没用早晚穿帮，第二、第三种情况造假不是工作的重点。

有这么多人选没有制度性的造假。。。要是你做DS/ML没有造过假，两种最大的可能性：1. 你做过的工作里目前还没有过领导需要依赖于你的结论做business decision，或者依赖你的结论justify已经做过的某种investment的 2. 别人已经替你把造假的框架搭好了，你在里面怎么玩都在这个允许的范围内，换句话说有人替你负重前行

epcilon 发表于 2024-5-9 10:41
作为一个mle manager，为了帮组员升职，我凭空创造出好多metrics了，大致都是组员哼哧哼哧干半年，offline  ...

真相了！

做data analyst分析ab testing太难了！不是说ab testing本身有多难，而是“要以真实的results为基础又不能让pm和eng太难受”太难了！所以就有各种的cherry picking各种的讲故事。。。

究极原因，是interest conflict。分析ab testing的data analysts的performance是由pm和eng决定的，而pm和eng的performance又是由ab testing的results决定的，最终结果就是共同合谋造假，你好我好大家好。

至于business performance是上升还是下降，business本身和大环境起决定作用。就算是ab testing总是win但business perf下降，也可以找理由说：ab testing测的是counterfactual，如果没有launch winning features，business perf下降得比现在还低呢（这还真不知道怎么反驳。。。）

每次出报表我都费了老鼻子劲找个能支持自己观点的，哎，就怕cherrypick也找不到…..

毛啊，不能reproduce，不consistent，没有insights的results反正最后也launch不了，publish了会被人在x上追着问，没有意义。