聊一下A/B test的基本步骤（适用于newbies准备面试或者刚入行者）

作为product DS，帮助project design test plan和分析数据结果是工作中很大的一部分。现在我就聊一下我的一些经验，如果觉得有帮助的话，请帮忙点赞加米！

1. Understand the context and clear about the goal
generally speaking，一个完整的project，需要涉及eng，pm， content designer，web developer，etc。ds的involve是可以发生在不同的stage的，有的时候ds可以involve在early idea development stage，有的时候ds involve 发生在idea已经defined，eng 已经把feature built之后了。在第二种情况，ds在设计实验之前一定要清楚这个project的context和goal，才能更好的进入第下面的步骤，define hypothesis and define metrics

举例，现在我们想要设计advertiser help center主页上的recommendated articles 板块，control也就是现有的设计是选择网站在last 28 days 浏览最高的五篇文章。那我们新的设计是运用了machine learning，根据采集到的这个用户的一些signals（比如说他以前访问的history啊，他广告账户上的一些关于payment，投放广告的行为）来personalize ，预测他个人感兴趣的五篇文章。如果没有business context，我们就很容易认为goal是为了增加文章的相关度也就是click through rate。但是了解了business context之后，这个设计的最终goal是为了帮助用户找到相关的help articles，来解决他们的问题，然后公司减少cost，节省客服服务的费用。

2. Define hypothesis
Hypothesis 的格式一般就是xx 会impact/drive xx topline metrics move to positive/negative/neural directions。

Hypothesis 是基于goal的，然后metrics作为goal的一个proxy，所以hypo

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

了解，或者是对metrics breakdown的分析。比如上面的例子，我们可以对platform （mobile/desktop）的数据进行看一下。

如果说数据结果是statistically significant to the desire direction， 并不一定我们的实验就会一定launch，我们还要考虑的因素包括1）是不是practical significant，因为新的change会增加一些cost，比如the extra data center cost for running ml model，所以我们要确保我们达到了practicle signifcant。2)还有一些实验，我们想知道有没有损坏user experience 或者一些无法预知的risk，需要进行一些quantative study然后再决定是否launch.

其实也有的team会holdout 一些small pct （10%， 20%）来monitor long term impact。这个的原因主要是担心实验的primacy impact或者是novelty impact

希望这个分享对大家有用。请不要吝啬你的点赞！

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

感谢楼主分享！请问下，metrics的选择有没有什么好的思维方式吗？没有ab testing方面的经验，在面试中被反馈对metrics的考虑不够deep，想问问楼主的建议。

很有帮助 感谢lz！一直对population variance的计算有点困惑：在小范围A/B test或者A/A test之后怎么算population variance呢？是用sample variance去estimate嘛？

已加米 谢谢LZ  ！

LZ能总结一下AB test 的常见面试题吗？

感谢楼主分享！收获很大