【面试实用】关于AB Testing的实际问题

今天看到一个关于AB testing比较全面而且实用的视频。在这里分享一下。https://www.youtube.com/watch?v=VpTlNRUcIDo。
说到AB testing，一般想到的问题都是hypothesis testing，计算要多少sample，要run多久，如何处理一些实验结果的问题，之类的。这些当然是核心问题。这个视频讲的比较全面。看了以后，觉得还是有很多问题需要了解。

系统来说AB testing大致有5个步骤，每一步都对应一些问题。大家可以仔细看看视频。
1. Prerequisites
2. Experiment design
3. Running experiment
4. Result to Decision
5. Post-launch Monitoring

然后感觉大厂是非常依赖AB testing。比如说用户足够多的时候AB testing可以检测非常小的change或者unexpected chenge。Product launch都要经过testing。所以要进大厂AB testing是必修课。