AB test 什么情况会unevenly划分test和control分组

之前接触到的AB test都是test和control 50/50来划分的。最近遇到了一个题目的情况是20/80 （control/test）来划分的，感觉非常困惑，希望有地里的大牛来帮忙解答一下AB test什么情况下会需要unevenly的分组？ 这样得到test数据也是20/80的，test组的数据量多于control组的，在分析test结果的时候可以直接来t test么?

一般实验分流有三种情况吧：

1.不影响用户体验：如 UI 实验、文案类实验等，一般可以均匀分配流量实验，可以快速得到实验结论


2.不确定性较强的实验：如产品新功能上线，一般需小流量实验，尽量减小用户体验影响，灰度发布的原则


3.希望收益最大化的实验：如运营活动等，尽可能将效果最大化，一般需要大流量实验，留出小部分对照组用于评估 ROI

80/20 split实际相当于跑20/20的traffic, stats要按traffic最少的group算
实操一般就是assign 40% traffic 然后within 40% 50/50 split
或者20/20/60 然后只看两个20/20的
主要原因就是各种下面大家列的各种不需要或者不能用所有traffic的情况

mm2000 发表于 2021-7-20 14:28
假设test内部是完全一样的

那我感觉不太像classical AB, 10%更适合做hold out group

Reference from web:
"For example, a “10% off” coupon (delivered through a pop-up or email campaign) may generate 15% more sales than a current “$10 off a $100 purchase” coupon. However, without a holdout, you don’t know how many consumers would’ve bought without any coupon at all—a winning test may still reduce profits.

Most often, however, holdouts are used not to measure lift from a single test but lift for an entire experimentation program. Because holdouts require siphoning off a statistically relevant portion of an audience, they make sense only for sites with massive amounts of traffic."

实际工作50/50分的非常少啊，一个功能你不确定好不好不可能一下子roll out到50%，大多数都是灰度测试，2%- 5% -10%一点点提高比例的，所以uneven很常见，分析结果时候lift什么的按比例算一下就好了

AB test和rollout是两个概念吧？为什么大家都在回复关于如何rollout的，我也想知道什么情况AB test需要unevenly分配，蹲一个答案

feature比较risky的时候，不确定benefit>cost的时候（真实面试中想个例子给面试官），安全起见只想先给一小部分的traffic试试看。依然t test但是因为unequal variance导致SE不同，所以CI的公式其实是不一样的。

如果不考虑如何roll out，只是在实验设计划分组的时候，什么时候会unevenly的分组呢，比如10% control user和90% test user. 这样得到的traffic 也是10 和90 的，那在t-test的时候是要对90%的test再进行抽样么？

mm2000 发表于 2021-7-20 11:30
如果不考虑如何roll out，只是在实验设计划分组的时候，什么时候会unevenly的分组呢，比如10% control user ...

假如你关注的是conditionX情况下的treatment effect，但是test中conditionX发生的概率更小（10%），control中conditionX发生的概率更大（90%），这样在分组后满足conditionX的情况在control和test组的user count是even的。
不知道这个例子合不合适

我遇到的这个情况是test 和 control是按 90/10划分的，收集到的traffic也是90/10. Test的内容是一个discount promotion. Test和control 是随机按ID 选的，但是test group选了9000个user， control只有1000个.

mm2000 发表于 2021-7-20 12:09
我遇到的这个情况是test 和 control是按 90/10划分的，收集到的traffic也是90/10. Test的内容是一个discoun ...

问题：你的test内部完全一样吗？还是说有multiple test？