[经验总结][6千字长文干货] 资深面试官眼中的数据科学案例分析面试

感谢分享！

很有用用心贴👍 楼主目前在哪家高就啊？好多FB 相关的问题，楼主在脸家吗？

Awe129kkk 发表于 2021-1-8 15:31
really exciting to see this post, wanna build something extra on your answer(随便写写，别当真了)
...

谢谢你的comments！恩我完全同意你的观点，非常感谢你的补充和这包含7条细节的具体流程！从实际工作中具体操作的角度，在这种p-value在boardline的情况下，一般的处理方法是看其他的相关metrics，同时要检查guardrail metric，来综合评价。此外还要看这个产品的维护复杂度，如果p-value略大于0.05, 但是其他的重要metrics有明显positive趋势，没有guardrail fail, 且产品维护复杂度不高，或者未来anyway要在这个版本上继续迭代，那么我们就会launch这个实验。就像你说的，最后还是一个权衡tradeoffs的过程。

anna2016 发表于 2021-1-9 19:21
很有用用心贴👍 楼主目前在哪家高就啊？好多FB 相关的问题，楼主在脸家吗？

谢谢你的支持！我目前不在FB，这个广告推荐系统的例子在很多互联网公司都会考到，这里用FB ads截图只是作为例子 :) 我之前辅导过的一些朋友在google display ads, pinterest ads等team的面试里面也遇到过类似题型。具体目前在哪家公司工作就不在这里提啦，谢谢理解！

interviewML20 发表于 2020-12-31 08:21
不客气。以下是我的一些想法，大家一起讨论：
1) 是的，你可以这样理解。我们这里研究的expectation eff ...

对于detect long term effect的方法, 除了这里提到的用“regression model做估计”之外，最正规的方法还是留一个holdout group。这样不仅能detect long term effect, 也可以检测一段时间内multiple changes的additive effect.

感谢楼主，很有用的信息

👍

太棒了，感谢！！

interviewML20 发表于 2021-1-19 05:50
对于detect long term effect的方法, 除了这里提到的用“regression model做估计”之外，最正规的方法还 ...

我面试时遇到过问long term effect的问题，请问你说的这个hold out group是一直长期保持某个旧版本的意思吗？是否也需要定时更新？

感谢楼主总结分享，很有用的信息！