AB实验及因果推断中的样本不足问题

您好！
本帖隐藏的内容需要积分高于 10 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 10 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

I prefer to take some micro elements(ads, customer and etc)from the advertisers as the example rather the integrated advertisers…

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

这完全取决于你要实验的目标是看到广告viewer的效果 还是广告主的效果（比如retention,adoption 之类的）.
如果是后者 且只有10个 那确实会比较麻烦.  而且你的新的广告形式也要考虑是否有对现有的产生cannibalization 之类的.
强行要hypothesis test 10个也不是不可以，另外也可以pre/post 来评估一下效果

zenjo 发表于 2021-9-8 16:55
想要clarify新的ads形式以及为什么需要在advertiser上做A/B。我觉得问题可以转化为在customer或者session l ...

好详细 马住

感觉user level做实验没问题，另外一个思路是adviser level，也可以有daily level/hourly level data, 这样子几天下来样本量不就大了吗。

谢谢分享！！！

I think we can do covariate adjustment here instead of a/b testing give test is under power and there may be bias between 10 advertisers (i.e. they are not comparable).