一亩三分地

 找回密码 注册账号

扫描二维码登录本站

微信公众号
扫码关注公众号
留学申请公众号
扫码关注留学申请公众号
查看: 607|回复: 6
收起左侧

如果实验后的效果几乎都是差怎么办

[复制链接] |只看干货 |数据科学
我的人缘0

升级   18.14%


分享帖子到朋友圈
kittycerry | 显示全部楼层 |阅读模式
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   93% (87)
 
 
6% (6)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?注册账号

x
本帖最后由 kittycerry 于 2020-10-23 10:46 编辑

面试遇到个题,因为签了nda,不能具体说,只能抽象出来问题请教一下大家。

没告诉实验怎么设计的,就是记录了实验前和实验后的好多对 对比数值,实验后基本上都drop了。问题就问到这,我就分析到这里了,结果面试官问了follow up,如果大部分都是drop的,我应该怎么做?

我根据我经验给了答案,但面试官很不满意,所以我就先不误导大家了。

上一篇:北美数据科学/数据工程培训
下一篇:想问一个ab teasing的问题
我的人缘0

升级   15.03%

七00夜 2020-10-25 11:30:48 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   97% (41)
 
 
2% (1)    👎
不一定就是direction错了,本质就是要找出原因,找到每一个metric regression的culprit,然后就知道到底是什么原因导致了。
. From 1point 3acres bbs
1. 可能是实验的implementation里有bug
2. 可能是实验的一开始的design有缺陷
3. 当然,也有可能是实验一开始的hpothesis 是不对的
4. ......
回复

使用道具 举报

我的人缘0
jacksterling 2020-10-23 14:20:42 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   92% (2455)
 
 
7% (191)    👎
说明direction错了,推倒重做,反正我们做abtest是这样
回复

使用道具 举报

我的人缘0

升级   18.14%

 楼主| kittycerry 2020-10-24 00:07:52 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   93% (87)
 
 
6% (6)    👎
jacksterling 发表于 2020-10-23 14:20
说明direction错了,推倒重做,反正我们做abtest是这样

是说假设错了吗?
回复

使用道具 举报

我的人缘0
jacksterling 2020-10-24 07:07:47 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   92% (2455)
 
 
7% (191)    👎
kittycerry 发表于 2020-10-23 11:07
是说假设错了吗?

对,我作为经常做abtest的sde是这么理解的,既然abtest的结果不好,就说明一开始的假设没准就是错的呗。不好的实验结果也是有价值的。
回复

使用道具 举报

我的人缘0

升级   18.14%

 楼主| kittycerry 2020-10-25 02:27:19 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   93% (87)
 
 
6% (6)    👎
jacksterling 发表于 2020-10-24 07:07
对,我作为经常做abtest的sde是这么理解的,既然abtest的结果不好,就说明一开始的假设没准就是错的呗。 ...

哦哦原来如此。谢谢!对一个喜欢做数据实验的人来说,很羡慕有机会经常做ab test
回复

使用道具 举报

我的人缘0

升级   18.14%

 楼主| kittycerry 2020-10-26 07:36:56 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   93% (87)
 
 
6% (6)    👎
七00夜 发表于 2020-10-25 11:30
不一定就是direction错了,本质就是要找出原因,找到每一个metric regression的culprit,然后就知道到底是 ...

我和你回复的差不多,但是明显面试官不买账
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

隐私提醒:
■拉群请前往同学同事飞友|拉群结伴版块,其他版块拉群,帖子会被自动删除
■论坛不能删帖,为防止被骚扰甚至人肉,不要公开留微信等联系方式,请以论坛私信方式发送。
■特定版块可以超级匿名:https://tools.1point3acres.com/thread
■其他版块匿名方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|||一亩三分地

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

Some icons made by Freepik from flaticon.com

快速回复 返回顶部 返回列表