不准访问
- 积分
- 185
- 大米
- 颗
- 鳄梨
- 个
- 水井
- 尺
- 蓝莓
- 颗
- 萝卜
- 根
- 小米
- 粒
- 学分
- 个
- 注册时间
- 2022-11-15
- 最后登录
- 1970-1-1
|
2022(10-12月)-EE本科+3个月-1年 | 内推|其他地区 分析|数据科学类实习@bytedance
注册一亩三分地论坛,查看更多干货!
您需要 登录 才可以下载或查看附件。没有帐号?注册账号 
x
面试必考A/B testing3个常见问题总结
分享3个面试必考A/B testing3个常见问题总结
.--
1. AB testing应该run多长时间?
简单来讲, AB testing要run多久其实就是问sample size要多大。Sample size可以直接用一个公式解决.--
. Χ
N = 16 * variance / difference ^ 2
这里variance就是sample variance。difference就是testing 和control之间的difference,一般sample variance可以从以往的数据里面求出,但是在testing之前difference是不知道的,我们run AB testing就是为了证明这个difference是significant的。一种方法就用minimum detectable effect,一般小于这个的话就是noise,大于的话就可以认为是effect。. 1point3acres
2. Novelty and primacy 问题
Novelty and primacy 问题就是,新的feature推出来了,要么大家因为新鲜感都去用了,要么大家都太懒,不愿意改变旧的习惯。典型的问题就是,如果一个新的feature上线了,大家都在用,但是过了一段时间大家都不用了。这个就是Novelty effect。
. 1point3acres.com
如何解决这个问题。一种方法就是在新用户上run experiment。这样就没有feature 新旧问题了。
. From 1point 3acres bbs
3. 干扰问题
很多实际test中,treatment和control组不是independent的。比如在social network中,一个用户用了新的feature导致行为改变。如果好友在control组的话就会收到影响,在Uber Lyft双边市场也会干扰问题。干扰问题一般用隔离方法解决,就是要么用地理隔离,要么用时间隔离,social network可以用network cluster隔离 |
上一篇:现在NG找工状态 下一篇:最近一个月找到工作的NG,你们是在哪找到的?
|