📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 12336| 回复: 22
跳转到指定楼层
上一主题 下一主题
收起左侧

A/B testing sample size 算法

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
大家好!楼主最近在准备脸书onsite,然后看了大家都推荐的udacity的a/b testing课程,其中sample size的算法楼主还不是很理解,目前看到有两种算法,但不知道这两种应该在什么时候运用。。求大神指教!

第一种: alfa,1-beta,practical significance level(minimum effect size),baseline
这个calculator印证了这个方法:http://www.evanmiller.org/ab-testing/sample-size.html
. ----
第二种:alfa,1-beta,practical siginificance level(minimum effect size),variability of the metric
下面是我找到的算sample size的公式,好像是个第二种呼应的。。

很多同学在面经里提到的是这个方法,我想问这个方法和上个方法应该用哪个。。然后variability of the metric应该怎么求呢。

评分

参与人数 3大米 +6 收起 理由
kisum233 + 2 很有用的信息!
huixingzhijia + 2 给你点个赞!
shabushabuyoy + 2 给你点个赞!

查看全部评分


上一篇:【资源分享】统计/ML知识点总结Cheatsheet!由浅入深 (求大米)
下一篇:实验室上门sr ds 刮净

本帖被以下淘专辑推荐:

推荐
Frances0412 2019-7-17 12:04:53 | 只看该作者
全局:
Sarah0813 发表于 2019-7-17 09:18. 1point3acres.com
variance是p*q,所以是0.2*0.8, 然后Z_beta是单边的,所以是0.84

多谢LZ回复!!!
. Χ
我又查了下资料,发现确实variance=p*(1-p)=0.2*0.8. . ----

那么按照公式来算,n=2*0.2*0.8*(0.8416+1.96)^2/(0.05)^2=1004

和网站算出来的1030还是有不少差别?还是说网站背后的公式不是这么算的呢?
我又查了stanford的公式,发现确实是这么计算的呀。。。好疑惑~
https://web.stanford.edu/~kcobb/hrp259/lecture11.ppt
回复

使用道具 举报

推荐
YHSot1 2019-6-18 00:45:52 | 只看该作者
全局:
那个baseline是个empirical的 从以前的数据得出来的 那个variability of metric是理论算出来的 如果你的unit of diversion满足理论的话 可以用理论值 总之这两个都是估计variance的
有了variance代入公式就行了 其实就是 \{Z_{alpha/2}*\sqrt{unit variance / N} - d_min\} / \sqrt{unit variance / N} = \Phi^{-1}(beta) 解出N就行了
其实统计的人看到那课里面的有些计算应该感觉到有点儿崩溃的 但是可能实际情况很多都近似了 也就无所谓了
. 最后那个课的project里面的sample size计算要求好死啊 好像错一点儿都不行

评分

参与人数 3大米 +5 收起 理由
lvbeatles2014 + 2 给你点个赞!
huixingzhijia + 2 给你点个赞!
Sarah0813 + 1 给你点个赞!

查看全部评分

回复

使用道具 举报

推荐
YHSot1 2019-6-18 06:44:05 | 只看该作者
全局:
Sarah0813 发表于 2019-6-18 05:01
不好意思再问一下,一个metric的variability的理论值一般是怎么算的啊。。还有你说的unit of diversion满 ...

按这门课的意思理论方差是\sqrt{\hat{p}(1-\hat{p})/N}. 我记得two sample时候是用的SE=\sqrt{\hat{p}_{pool}(1-\hat{p}_{pool})*(1/N_1+1/N_2)}. 当然其他test statistic用其他方差,但是大部分都是click through rate啥的 所以binomial近似normal用的最多。所以你的statistic就是\hat{p}_2 - \hat{p}_1 \sim N(0, SE^2). unit of diversion那个如果你的click through rate 分母是pageview, 那这个方差就是pageview的理论值, 如果你换成cookie那你的方差实际是比这个理论值大的。
回复

使用道具 举报

🔗
dertas1993 2019-6-18 01:25:33 | 只看该作者
全局:
YHSot1 发表于 2019-6-18 00:45
那个baseline是个empirical的 从以前的数据得出来的 那个variability of metric是理论算出来的 如果你的uni ...

你公式整体是对的,方差那个位置如果详细写一般是\hat{p1}(1-\hat{p1})/N1 + \hat{p2}(1-\hat{p2})/N2。然后一般都假设N1 = N2然而实际上感觉纯粹为了减少计算?如果出于最小总体sample size的考虑话不一定是说N1-N2吧, 然后我记得这个sample size好像跟哪里看过analytical solution,但是我推过一次感觉不太会,有大神会可以分享下or 给个link

评分

参与人数 1大米 +1 收起 理由
Sarah0813 + 1 给你点个赞!

查看全部评分

回复

使用道具 举报

🔗
YHSot1 2019-6-18 01:39:23 | 只看该作者
全局:
dertas1993 发表于 2019-6-18 01:25
你公式整体是对的,方差那个位置如果详细写一般是\hat{p1}(1-\hat{p1})/N1 + \hat{p2}(1-\hat{p2})/N2。 ...

这课里面好像没有用到p1, p2, 计算方差用的是pool的p 但是又用了1/N_1 + 1/N_2. 所以我说统计的人看到是很崩溃的
回复

使用道具 举报

🔗
dertas1993 2019-6-18 03:02:01 | 只看该作者
全局:
YHSot1 发表于 2019-6-18 01:39
这课里面好像没有用到p1, p2, 计算方差用的是pool的p 但是又用了1/N_1 + 1/N_2. 所以我说统计的人看到是 ...

印象中没有pool p算方差的,我手写了下感觉及时能rewrite一下也肯定不是直接方差的form,直接方差的form的pool的也完全不make sense,所以那个课件应该是错的吧。欢迎指正哈
回复

使用道具 举报

🔗
 楼主| Sarah0813 2019-6-18 04:37:33 | 只看该作者
全局:
YHSot1 发表于 2019-6-18 00:45
那个baseline是个empirical的 从以前的数据得出来的 那个variability of metric是理论算出来的 如果你的uni ...
.
你这么一说好像明白了!
回复

使用道具 举报

🔗
 楼主| Sarah0813 2019-6-18 04:38:50 | 只看该作者
全局:
dertas1993 发表于 2019-6-18 03:02
印象中没有pool p算方差的,我手写了下感觉及时能rewrite一下也肯定不是直接方差的form,直接方差的form ...

对的我看大学课本里也是用的你的那个公式而不是p pool,可能udacity上的课程用了近似的,其实算一下两种方法的结果好像差不多。
回复

使用道具 举报

🔗
 楼主| Sarah0813 2019-6-18 05:01:23 | 只看该作者
全局:
YHSot1 发表于 2019-6-18 00:45
那个baseline是个empirical的 从以前的数据得出来的 那个variability of metric是理论算出来的 如果你的uni ...
.1point3acres
不好意思再问一下,一个metric的variability的理论值一般是怎么算的啊。。还有你说的unit of diversion满足理论是什么意思?谢啦
回复

使用道具 举报

🔗
 楼主| Sarah0813 2019-6-18 08:03:32 | 只看该作者
全局:
YHSot1 发表于 2019-6-18 06:44
按这门课的意思理论方差是\sqrt{\hat{p}(1-\hat{p})/N}. 我记得two sample时候是用的SE=\sqrt{\hat{p}_{p ...
-baidu 1point3acres
好的谢谢!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表