面试必考AB testing3个常见问题总结 [干货总结]

AB testing 在问product question的时候非常常考。比如说面试官问你怎么设计一个metric来measure一个新的feature是否sucessful。你找了个metric。那接下来很可能就问你怎么设计这个实验？应该run多长时间？实验应该注意哪些问题？

这里给大家总结3个AB testing常见问题。信息来源是油管视频https://www.youtube.com/watch?v=X8u6kr4fxXc。信息量很大。大家可以看原视频for more detail。

上干货。

1. AB testing应该run多长时间？

简单来讲, AB testing要run多久其实就是问sample size要多大。Sample size可以直接用一个公式解决
N = 16 * variance / difference ^ 2
这里variance就是sample variance。difference就是testing 和control之间的difference。一般sample variance可以以往的数据里面求出。但是在testing之前difference是不知道的，我们run AB testing就是为了证明这个difference是significant的。一种方法就用minimum detectable effect。一般小于这个的话就是noise，大于的话就可以认为是effect。

2. Novelty and primacy 问题

Novelty and primacy 问题就是，新的feature推出来了，要么大家因为新鲜感都去用了，要么大家都太懒，不愿意改变旧的习惯。典型的问题就是，如果一个新的feature上线了，大家都在用。但是过了一段时间大家都不用了。这个就是Novelty effect。

如何解决这个问题。一种方法就是在新用户上run experiment。这样就没有feature 新旧问题了。

3. 干扰问题

很多实际test中，treatment和control组不是independent的。比如在social network中，一个用户用了新的feature导致行为改变。如果好友在control组的话就会收到影响。在Uber Lyft双边市场也会干扰问题。干扰问题一般用隔离方法解决。就是要么用地理隔离，要么用时间隔离。social network可以用network cluster隔离。

最后，还是要感谢地里以及网上所有做免费content的人。感谢他们提供了思路和关键词。没有做过的话都不是要搜索什么关键词来学习。关于细节有不懂的地方，大家可以自己搜素。

楼主 求交流AB testing 最近快面试了. 1065478725 XX