A/B test遇到的问题及解决方法

一亩三分地

 找回密码 注册账号

扫描二维码登录本站

最近看过此主题的会员


码农求职神器Triplebyte
不用海投
内推多家公司面试

Total Comp Calculator
输入offer信息
系统自动计算每年收入

科技公司如何
用数据分析驱动产品开发
coupon code: 20%off 打八折

深入浅出AB Test
从入门到精通
coupon code: 20%off 打八折
游戏初创公司招聘工程师、UIUX Designer和游戏策划
坐标湾区
DreamCraft创始团队
招聘游戏开发工程师
查看: 17886|回复: 138
收起左侧

发一波DS面试准备经验总结回报地里

    [复制链接] |试试Instant~
我的人缘0

分享帖子到朋友圈
feiwudefeng 发表于 2019-2-18 07:22:03 | 显示全部楼层 |阅读模式
本楼: 👍   100% (24)
 
 
0% (0)   👎
全局: 👍   100% (214)
 
 
0% (0)    👎

2019(1-3月) 分析|数据科学类 硕士 全职@GoogleAirbnb, Thumbtack - 内推 - Onsite  | Other | 在职跳槽

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?注册账号

x
楼主从去年10月份开始系统复习准备DS analytics方向的面试,在准备过程中在地里学习了很多前人的面试经验,也被推荐了很多很有效的资源,非常喜欢这个论坛的气氛。现在找工结束,想发一些自己准备面试以及面试的经验(心得和反思都有)来回报地里。因为签了NDA,不太方便透露具体的面试题还请大家见谅,但是会举一些自己在面试中遇到的问题和自己的思考,欢迎大家一起探讨。
先报一下自己最近这波找工作的情况,因为比较忙所以没有海投,不然连猎头电话都打不过来了:
简历拒:uber,pinterest,snapchat,dropbox,glassdoor
店面挂:linkedin(技术二面)
onsite挂:quora,microsoft
onsite加面挂:facebook(对不起我热心内推积极提建议的舍友啊TAT)
offer:thumbtack(PA),google(BA和PA两个ladder),airbnb (DS-Analytics)

和很多小伙伴一样,我这次主要的方向是analytics track,准备的方面也是依据这个track的要求进行的,分为以下几个方面:

(1)Product Sense:
地里被很多人推荐的cracking the PM interview里关于behavior的章节我看了三遍,estimation,product和case三个章节我看了至少五遍吧,最开始的时候几乎每面一个公司的每一轮面试前都会看一遍,听上去看了挺多遍的其实看到后几遍就很快,看到一个标题大致就知道这个部分说的是什么了,主要的目的是过一遍思路,让自己的思维在面试前活起来。我觉得其实很多产品题面试的时候卡壳但是面试后多花时间想一想就有解了,产品题之所以难,在我看来部分原因是思路容易受面试时紧张心态的限制发散不开,面试前过一遍,确定自己脑子里有什么武器至少对我来说还是很有用的。

其他推荐的材料我自己看过的还有case in point,这个因为case太多了我只看了两遍,但其实这本书在解决case study(不是product question)上比cracking 我觉得要简单好用,里面的体系很有说服力,例子又多,不只能让你知道what is working,也能告诉你what is not working。

https://learn.1point3acres.com/courses/ds501-analytics/
这个是地里大神小k老师的一个付费课程,我在面试后期才开始用的,但是有点后悔买晚了。里面涉及了很多面试中考察的知识点,虽然不是每道题都讲得很透,但是如果自己先下苦功夫准备过analytics再来听这个,会非常有拾遗和验证心得的效果。

除此之外,每面试一家公司之前,推荐一定要上地里看面经,一定要在纸上多写几道产品题的答案。我当时面fb的时候在纸上写了25道产品题的自己的答案,面linkedin的时候也准备了15道,虽然最后这两家都g了,但是对我如何把资料和课程里的东西内化起了不可替代的作用,后期面狗家和空气床的时候其实是没有什么面经的,面试的时候也没有面经题,但是前期F和L的准备沉淀下来了,被问到的题自己没见过也没有很虚。

(2)SQL:
这个比较简单粗暴,Leetcode的sql我刷过至少5遍,hankerank我刷过3遍,基本上就没问题了。需要提醒大家的是如果你有一阵子没刷了,一定要再刷一下,手会生的。

(3)Python - manipulation & cleaning:
在这波面试前,我其实是不太会用python做数据处理和可视化的,如果小伙伴中有跟我一样的人,我觉得我用的这些资源真的都非常好,后来面试的时候甚至又不止一次要我现场用电脑处理数据做可视化提建议,用过以下资源表示完全不虚:

(3.1) udemy python for Data Science and machine learning bootcamp
https://www.udemy.com/python-for-data-science-and-machine-learning-bootcamp/learn/v4/t/lecture/5733448?start=0
这个资源我只看了前半部分关于数据处理和可视化的但是看了两遍(第二遍是快进式刷的),非常系统地教了pandas和seaborn

(3.2)datacamp
里面有关于pandasmatplotlibseaborn从入门到精通所有相关的课程,我都上了,和udemy相互印证以后,基本上就有了一个比较清楚的概念了。

(4)AB-Testing:
udacity上的那门AB testing的课是入门的利器,第一次上那门课的时候仿佛打开了一扇新世界的大门。但是其实那门课很多细节是没有讲清楚的(至少我自己没听明白),比如没有涉及t test,没有讲清楚variability, bootstrap, A-A test的意义,怎么在实验设计阶段应对learning effect, network effect,和其他一些corner case。 所以我觉得这门课入门很好,但是绝对是不够的。


(5)统计:
我17年初面过一次FB,那个时候自己还挺菜的店面就gg了。但是当时FB的面试准备资料里share的那个练习网站真的是神器,https://brilliant.org/ 网址是这个,面过FB的小伙伴应该都知道。我当时一度迷上这个网站了,在里面做题做了好久,遇到自己不会的题或者一些比较经典的题就在纸上记录下来,前前后后做了多少道肯定记不清了,但是笔记上有大概50道。除此之外我也会看地里的统计部分的面经,遇到自己不会的知识点就上网找,一遍都能有答案,然后会吧问题和答案也记在同一个地方。

之前提到的Datacamp也是一个很重要的资源,里面有一些关于统计分布,experimentation方面的课程,我是从那些课程里第一次系统地学习并练习了了泊松分布,指数部分,permutation和bootstrap的。

最后提一个courseera上的课,也是地里的小伙伴分享的,我觉得能很清楚地帮我们理解一些看似很基础但其实很重要而大多数人不清楚的统计概念,比如random sampling和random assignment,violate each对结果的影响是什么。https://www.coursera.org/learn/probability-intro/home/welcome

(6)Machine Learning:
这个部分地里的推荐都挺好的,我自己只上过Andrew Ng的courseera和sebastian的udacity。除此之外还上了datacamp里关于xgboost的专题讲解。我觉得Analytics Track的面试,有这些应该就够用了。
-baidu 1point3acres
(7)Algorithm:
我没在这个部分上花太多的时间,只刷了leetcode上最高频的50道easy和medium level的题三遍,没想到居然又不止一次在面试中遇到过,也是走运。这波找工完了之后我接下来应该会找时间系统地学习一下数据结构和算法然后好好刷刷题,以后希望能做个growth engineer。
. 1point3acres
准备的材料就是这些了,接下来想说一说我实际在面试中发现自己做的好的地方以及暴露出来的一些问题,这里会涉及三个方面:behavior,product & case question以及take home challenge
1. Behavior:

这个部分是一个容易被忽视的部分,但是如果你连自己都聊不清楚,其实会让面试官,尤其是hiring manger对敢不敢用你挺犹豫的。我在这块绝大多数时候表现的是非常不错的,方法就是找几个大的topic,每个topic下面准备好故事,把故事写出来,不断地思考细节,不断地思考怎么少说废话,不断地思考怎么条理清楚。我准备的大topic有以下几个:
游客,本帖隐藏的内容需要积分高于 150 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.



这里重中之重的关键是少说废话,有一个behavior 很好的模板叫S(Situation).T(Task).A(Action).R(Result)可以用来frame几乎所有的behaviroral 和culture fit的素材。在准备的时候一定要强调你做了什么,如果你能够量化结果的花那就更优秀了。

2. Product & Case Question
讲这个话题前要先吹一波Facebook,他家对define product & case question的定义和分类让我觉得非常make sense。在我看来IT界(不是咨询界)所有的product和case question到最后都可以被归纳到fb的两轮product 面试之下: Product Interpretation和Applied Data。

第一个内容的最终落脚点一般都是find a metrics to evaluate XXX。这个要求我们明白产品的用户,用户的问题,产品如何帮助用户解决问题,进而明确用户的goal,公司的goal,最后作为DS,我们的任务是找到metrics去quantify这些goal。 每一个公司,因为业务模式不同,最后都会一个独特但唯一的north star metrics。在面试之前,想清楚这个metrics是什么和为什么是这个在我看来是很重要的。在面试之中,当我们clarify了scope和ambiguous term之后,也应该按照步骤一步一步地和面试官讨论,把问题,产品的solution,goal这些东西都一步一步地聊出来。有的人建议先confirm goal,但是我觉得goal是在你和面试官都align了问题和产品后才能聊得出来的东西,这个大家如果有不同意见欢迎讨论。但是总结来说,这个部分的产品题,需要我们花时间去了解产品,然后一步步地去聊出面试官问你的问题的context。
游客,本帖隐藏的内容需要积分高于 150 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.


. From 1point 3acres bbs
关于appiled data,楼主自己其实也做得不太好,fb得onsite加面的就是这一轮。这里主要就说说自己的理解和遇到的问题。 这一大类的问法都是what data would you use to XXX (我在后面会沿用同样的格式),让你brainstrom用什么data去解决问题,也就是考察在实际工作中operationalize data的能力。这里可以考察的点有很多,我争取每一个自己能想到的点都举一个我自己面试的一个实例出来供大家讨论:

游客,本帖隐藏的内容需要积分高于 150 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.



3. Data Challenge
关于这个部分,我觉得这个帖子已经说得非常到位了:https://www.1point3acres.com/bbs/thread-326201-1-1.html ,非常感谢这位战友分享的经验。楼主在这里就只是加一点个人的经验总结,希望对大家有帮助。如果让我用一句话总结,analytics的Data Challenge该怎么做的话,应该是:

Do as much as analysis as you can,but only showcase the most valuable findings - in a framed way。

这里有三个层面的意思:

游客,本帖隐藏的内容需要积分高于 150 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.



以上就是自己准备面试的一些方法和心得,希望对大家有帮助。 在这里感谢一下地里的各位大神和我身边的很多小伙伴在我面试过程中提供的信息上,知识上和精神上的支持。最后祝大家面试顺利,早日拿到心仪的offer!




补充内容 (2019-3-22 01:44):
经小伙伴提醒补一下那个不work的cracking the data challenge的帖子的链接:
https://www.1point3acres.com/bbs/thread-326201-1-1.html

评分

参与人数 190大米 +518 收起 理由
syqzheng + 1 很有用的信息!
Liyukuang + 1 赞一个
yufengqian1 + 1 很有用的信息!
liuy14 + 1 赞一个
hanchancs + 1 很有用的信息!
Naroto + 1 赞一个
alldepends + 1 赞一个
drift_xmm + 1 赞一个
JoJolie + 1 给你点个赞!
懒啊懒 + 1 给你点个赞!

查看全部评分


上一篇:Amazon DS 第一次电面
下一篇:小众公司 Vevo 面经 --求打赏大米

本帖被以下淘专辑推荐:

  • · DS|主题: 23, 订阅: 6
  • · JOB|主题: 63, 订阅: 0
  • · exp|主题: 4, 订阅: 0
我的人缘0
 楼主| feiwudefeng 发表于 2019-2-19 02:12:25 | 显示全部楼层
本楼: 👍   100% (2)
 
 
0% (0)   👎
全局: 👍   100% (214)
 
 
0% (0)    👎

评分

参与人数 4大米 +10 收起 理由
Quinntile + 2 很有用的信息!
ohhemma + 2 谢谢分享!
sanmi0814 + 3 给你点个赞!
SOLONG09 + 3 很有用的信息!

查看全部评分

回复

使用道具 举报

我的人缘0
 楼主| feiwudefeng 发表于 2019-2-19 02:18:38 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (214)
 
 
0% (0)    👎
huixingzhijia 发表于 2019-2-18 10:08
楼主能请教一下,面试老问一个metric上升,一个Metric下降,这个如何作答?已加米,元宵节快乐。

这种我觉得首先要理解这两个metrics分别反映了公司表现或者用户体验的哪一部分,结合起来描述了一种什么现象,比如说,FB的engagement上升了但是TS下降了,前阵表示用户在使用过程中更active了,后者表示用户使用时间变短了。然后根据总结出来的context结合两个方面答,一个是公司的goal和侧重点,另一个是这两个变化分别是长期的还是短期的,如果是短期的,长期有没有可能下降的升回来或者上升的降下来。

如果再答的深入一点,可以用答metric 上升、下降, why的思路深入解剖每一个metrics变化背后的context辅助决策,但是这个一般不是这种问题考察的侧重点。

评分

参与人数 2大米 +23 收起 理由
admin + 20
huixingzhijia + 3 醍醐灌顶,明白了 这类问题 老蒙圈。

查看全部评分

回复

使用道具 举报

我的人缘0
 楼主| feiwudefeng 发表于 2019-4-17 11:27:39 | 显示全部楼层
本楼: 👍   100% (3)
 
 
0% (0)   👎
全局: 👍   100% (214)
 
 
0% (0)    👎
不知道为什么我之前写的AB testing的复习资料被删了,大概是因为地里不鼓励私信发邮箱吧。 GDrive的链接放在这里,大家自取吧。这是我当初上完UDacity的课之后又上的一门bittiger的AB-Testing课:
游客,本帖隐藏的内容需要积分高于 10 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.
gle.com/file/d/ ... YE/view?usp=sharing

评分

参与人数 2大米 +3 收起 理由
ljm250 + 1 给你点个赞!
theflyingdot + 2 很有用的信息!

查看全部评分

回复

使用道具 举报

我的人缘0
kinki23x 发表于 2019-2-18 12:34:02
本楼: 👍   100% (2)
 
 
0% (0)   👎
全局: 👍   100% (3)
 
 
0% (0)    👎
謝謝樓主的分享,很有用!
尤其是https://brilliant.org/這網址


. From 1point 3acres bbs
游客,本帖隐藏的内容需要积分高于 10 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.
tion方面的课程,我沒有搜到,能具體說一下課程名稱嗎?謝謝妳!!

我的人缘0
lyyklyyk 发表于 2019-5-20 14:28:13 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   100% (2)
 
 
0% (0)    👎
谢谢分享 !!
游客,本帖隐藏的内容需要积分高于 10 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.
TAT
回复

使用道具 举报

我的人缘0
 楼主| feiwudefeng 发表于 2019-4-17 12:55:58 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   100% (214)
 
 
0% (0)    👎
Pandataria 发表于 2019-4-11 05:22
楼主的贴我两个月前读过,收获很多,回来点赞+加分

哈哈谢谢,你的那篇我也收藏了,准备用来当指导多走一走inference这个track的路。
回复

使用道具 举报

我的人缘0
栗子joyce 发表于 2019-2-18 12:54:44 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   98% (56)
 
 
1% (1)    👎
感谢楼主的分享,很细致的分类了
游客,本帖隐藏的内容需要积分高于 10 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.
以分享一波嘛

评分

参与人数 1大米 +3 收起 理由
老衲上大学 + 3 给你点个赞!

查看全部评分

回复

使用道具 举报

我的人缘0
huixingzhijia 发表于 2019-2-18 10:08:16 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (12)
 
 
0% (0)    👎
楼主能请教一下,面试老问一个metric上升
游客,本帖隐藏的内容需要积分高于 10 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.
米,元宵节快乐。
回复

使用道具 举报

我的人缘0
Yunfan 发表于 2019-2-18 10:37:46 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (12)
 
 
0% (0)    👎
谢谢楼主!很有用的信息。请问
游客,本帖隐藏的内容需要积分高于 10 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.
作职位呀?
回复

使用道具 举报

我的人缘0
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (15)
 
 
0% (0)    👎
感谢楼主 写得很详细了 请问FB这些总结都是从哪些帖子来
游客,本帖隐藏的内容需要积分高于 10 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.
st资料的方便分享嘛
回复

使用道具 举报

我的人缘0
brandydydy 发表于 2019-2-18 13:22:33 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (28)
 
 
0% (0)    👎
想问楼主从开始准备到最后拿到offer好了多少小时 - 粗略估计一下。

游客,本帖隐藏的内容需要积分高于 10 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.
sorry,是实际准备时间
回复

使用道具 举报

游客
请先登录
您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

提醒:发帖可以选择内容隐藏,部分板块支持匿名发帖。请认真读完以下全部说明:

■隐藏内容方法 - 不要多加空格: [hide=200]你想要隐藏的内容比如面经[/hide]
■意思是:用户积分低于200则看不到被隐藏的内容
■可以自行设置积分值,不建议太高(200以上太多人看不到),也不建议太低(那就没必要隐藏了)
■建议只隐藏关键内容,比如具体的面试题目、涉及隐私的信息,大部分内容没必要隐藏。
■微信/QQ/电子邮件等,为防止将来被骚扰甚至人肉,以论坛私信方式发给对方最安全。
■匿名发帖的板块和方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|小黑屋|一亩三分地

GMT+8, 2019-6-20 04:49

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表