网飞 Senior DS 面经 + 讨论

这个岗位很强调AB Testing 感觉想招一位 强统计背景+强AB TESTING 经验的人

hiring manager 全程围绕ab testing问问题

1. tell me about yor ab testing experiences

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

这个问题答不上来感觉面试官就没什么兴趣了…………希望有abtesting经验的同学们可以分享一下关于这道题的思路，同时求加点大米！感谢~

我也不懂，我的初步想法是转化率低是由于分母太大了[P(conversion|campaign) ~= 0]所以检验结果会很不好。在你面前只能拿到这么样小的conversion个数（不许增加sample size）的时候，只能把conversion的定义在这个条件下稍微修改，比如把分母从收到了campaign的人，换成在这个页面停留15秒钟以上/反复scroll的人，重新定义转化成功，再去test

我也想不出来 感觉这个像贝叶斯学派的知识点？

来自一亩三分地官方APP

我不懂的，随便说说啊。第二题似乎不是考什么技术，而是考你面对这种数据知识无解的极端情况？试想从真实应用的角度来看哪个功能有这么低的转化率？我是很想建议做一些功能上的改动，各种功能改动都去试试看，能不能改进转化率，或者干脆就认为和转化相关的功能出错了，用户根本就没可能被转化？

充分同意whatdoor同学的解法，另外个人认为分母变小以后可以尝试使用fisher's exact test，相对较小sample size而言可能更合适些。

也许用到更加复杂的statistical model会有帮助？ 或者建立一些proxy metrics？