AB test 什么情况会unevenly划分test和control分组

ak478564217 发表于 2021-7-20 13:35
问题：你的test内部完全一样吗？还是说有multiple test？

假设test内部是完全一样的

mm2000 发表于 2021-7-20 14:28
假设test内部是完全一样的

那我感觉不太像classical AB, 10%更适合做hold out group

Reference from web:
"For example, a “10% off” coupon (delivered through a pop-up or email campaign) may generate 15% more sales than a current “$10 off a $100 purchase” coupon. However, without a holdout, you don’t know how many consumers would’ve bought without any coupon at all—a winning test may still reduce profits.

Most often, however, holdouts are used not to measure lift from a single test but lift for an entire experimentation program. Because holdouts require siphoning off a statistically relevant portion of an audience, they make sense only for sites with massive amounts of traffic."

meimingzi2020 发表于 2021-7-20 10:54
AB test和rollout是两个概念吧？为什么大家都在回复关于如何rollout的，我也想知道什么情况AB test需要unev ...

说到点上了，想不到有什么理由要20/80分，感觉很野路子，出题人可能水平有限

我感觉楼上讨论的都是用户数量足够大的情况下如何做roll out。但是有的时候，一些传统行业做marketing，本身用户数量较小，或者说对用户的选择比较苛刻，一个实验可能就要覆盖所有eligible的用户。且一般做这样一个实验的成本很高，无论是人力成本还是机会成本，就会选择在test里尽量放更多的人。

YuweiTu 发表于 2021-7-22 07:47
我感觉楼上讨论的都是用户数量足够大的情况下如何做roll out。但是有的时候，一些传统行业做marketing，本 ...

如果认为此处的eligibility是我提到的conditionA，那么收到的数据还是可能是50/50的。
如果是你提到的小样本问题我觉得这不能算是well-defined AB testing.