回复: 5
跳转到指定楼层
上一主题 下一主题
收起左侧

A/B Test Case 求助!求讨论

全局:

2022(7-9月) 分析|数据科学类 本科 全职@ - 内推 - 在线笔试  | 😃 Positive 😣 Hard | Other | 在职跳槽

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
最近看到一个A/B Test的case,遇到几个疑惑,想来地里集思广益,求助一下大家!
Background: 假设某购物网站开发了一个新的search algorithm,认为这个新的算法可以大大提高搜索准确度。Product team launch了一个A/B test,A是control,B是采用新搜索算法的test group。有一组数据,现在让帮助分析实验结果,并给出建议。
问题:. check 1point3acres for more.
1. User level vs. action level metric哪个更好?我觉得两个各有各的优势,但最终觉得用user level比较好,但并不太能说得出理由…

4. 实验过程中的bug问题:如果test跑了30天,但其中某天网站出了bug影响到所有用户,导致group A/B的各种转化都趋近于0。那分析的时候是应该把这天的数据filter掉吗?如果对group A/B的影响是一样的,是不是可以保留?应该不会影响实验结果?Sample size是否也应该减去这两天的user数量?
. check 1point3acres for more.-baidu 1point3acres
任何想法分享都有帮助,欢迎交流讨论

评分

参与人数 2大米 +16 收起 理由
匿名用户-JMKP7 + 15
小亩_b0e57d5 + 1 很有用的信息!

查看全部评分


上一篇:Akuna OA Quant | 新人初来乍到 求加米
下一篇:Dow Jones Pricing&Data Analyst 面试

本帖被以下淘专辑推荐:

  • · DS|主题: 224, 订阅: 39
推荐
melodie0910 2022-11-8 12:53:12 | 只看该作者
全局:
您好!
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式
游客,您好!
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Popular Interview Questions from Top Companies
回复

使用道具 举报

全局:
您好!
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式
游客,您好!
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Popular Interview Questions from Top Companies

评分

参与人数 1大米 +1 收起 理由
tonyzong + 1 赞一个

查看全部评分

回复

使用道具 举报

全局:
您好!
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式
游客,您好!
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Popular Interview Questions from Top Companies

评分

参与人数 1大米 +1 收起 理由
flymanpeterpan + 1 赞一个

查看全部评分

回复

使用道具 举报

🔗
lzt95315 2022-9-17 02:45:11 | 只看该作者
全局:
第一个应该是user level比较好。如果是action level 如果有一个人疯狂点咋办。
回复

使用道具 举报

🔗
 楼主| flymanpeterpan 2022-9-18 21:50:11 | 只看该作者
全局:
您好!
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式
游客,您好!
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Popular Interview Questions from Top Companies
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表