A/B Test Case 求助 求讨论

最近看到一个A/B Test的case，遇到几个疑惑，想来地里集思广益，求助一下大家！

Background: 假设某购物网站开发了一个新的search algorithm，认为这个新的算法可以大大提高搜索准确度。Product team launch了一个A/B test，A是control，B是采用新搜索算法的test group。有一组数据，现在让帮助分析实验结果，并给出建议。

问题：
1. User level vs. action level metric哪个更好？我觉得两个各有各的优势，但最终觉得用user level比较好，但并不太能说得出理由…

• User level: # of users clicked / # of users searched
• Action level: # of clicked result / # of search
  

2. Success metric：这里最直接的metric是take了search action的user的 CTR = # of users clicked / # of users searched，但这只是最表层的metric。launch新search算法的最终目的肯定是能让用户找到自己需要的商品并购买，所以下游的metrics也很重要。我选了这3个metrics，并用了bonferroni correction。在实际做A/B test时，遇到这种有funnel的情况，是应该focus在表层metric还是把下游的metric一起考虑作为success metric？

• CTR = # of users clicked / # of users searched
• Add to cart rate = # users added product to cart / # of users clicked
• Purchase rate = # users bought product / # of users added product to cart
  

3. Funnel metrics的sample size问题

• 实验开始前算了需要的sample size，比如需要1000 users能达到statistical significance。上面提到的# of users searched就需要target起初计算的sample size，但是下游的metrics计算p-value时，n是不是就变成了# of users clicked, # of users added product to cart？这些metric都会比1000小很多，还能否在同一个实验中直接用小于1000的n计算p-value？还是说需要实验继续跑，直到下游metrics的n都达到sample size 1000才可以？
  

4. 实验过程中的bug问题：如果test跑了30天，但其中某天网站出了bug影响到所有用户，导致group A/B的各种转化都趋近于0。那分析的时候是应该把这天的数据filter掉吗？如果对group A/B的影响是一样的，是不是可以保留？应该不会影响实验结果？Sample size是否也应该减去这两天的user数量？

任何想法分享都有帮助，欢迎交流讨论