A/B Test Case 求助！求讨论

最近看到一个A/B Test的case，遇到几个疑惑，想来地里集思广益，求助一下大家！
Background: 假设某购物网站开发了一个新的search algorithm，认为这个新的算法可以大大提高搜索准确度。Product team launch了一个A/B test，A是control，B是采用新搜索算法的test group。有一组数据，现在让帮助分析实验结果，并给出建议。
问题：
1. User level vs. action level metric哪个更好？我觉得两个各有各的优势，但最终觉得用user level比较好，但并不太能说得出理由…

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式
游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

s的n都达到sample size 1000才可以？

4. 实验过程中的bug问题：如果test跑了30天，但其中某天网站出了bug影响到所有用户，导致group A/B的各种转化都趋近于0。那分析的时候是应该把这天的数据filter掉吗？如果对group A/B的影响是一样的，是不是可以保留？应该不会影响实验结果？Sample size是否也应该减去这两天的user数量？

任何想法分享都有帮助，欢迎交流讨论

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

第一个应该是user level比较好。如果是action level 如果有一个人疯狂点咋办。

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies