A/B testing 知识点整理

可以好好看看这本书

https://experimentguide.com

renov 发表于 2020-07-08 00:54:07
可以好好看看这本书

https://experimentguide.com

太感谢了！字数字数

最后一问看margin是不是> MDE

yileihe1989 发表于 2020-07-15 22:49:28
最后一问看margin是不是> MDE

MDE是什么意思呀？ 大于的话会怎么样？不是很懂。谢谢讲解

yjiang05 发表于 2020-7-16 14:04
MDE是什么意思呀？ 大于的话会怎么样？不是很懂。谢谢讲解

MDE = minimum detection effect. https://splitmetrics.com/resources/minimum-detectable-effect-mde/
想象成一个鱼网。你的detection margin 必须大于这个MDE才会被抓住。

感谢分享，mark一下之后学

谢谢楼主， 想请问一下What if your result is neutral?
Slice on sub-groups. 什么是slice on sub-groups？ 能具体解释一下吗？谢谢

Yana 发表于 2020-07-25 15:04:46
谢谢楼主， 想请问一下What if your result is neutral?
Slice on sub-groups. 什么是slice on sub-groups？ 能具体解释一下吗？谢谢

整个user group 测出来neutral，你可以再分个男女组看看。注意type 1 error。

说到这个想到如果结果significant，怎么看是不是novelty effect， 好像就是从结果里再挑出新用户 看control test 的区别，如果没区别，就证明是由于novelty的影响。

如果有positive也有negative怎么办？这个我一直也很迷

betty93 发表于 2020-08-18 23:21:12
如果有positive也有negative怎么办？这个我一直也很迷

我自己的看法，不确定对不对。就是如果面试官问的话，我会这么答：做实验，看目标 goal，哪个metrics和目标直接关联，影响比较大，都有关联 看影响的比例。每个metrics提升（减少）百分之一可以带来多少或损失的revenue，加一加确定回报率可不可。可以的话就执行，不可以就不执行。

有positive 有negative 看看 是不是这个feature影响了别的功能 导致有的metrics 提升 有的下降。