一亩三分地

 找回密码 注册账号

扫描二维码登录本站

BBS
Offer多多
Salarytics
交友
Learn
Who's Hiring?
Visa Tracker
疫情动态
指尖新闻
Instant
客户端
微信公众号
扫码关注公众号
留学申请公众号
扫码关注留学申请公众号
Youtube频道
留学博客
关于我们
查看: 5741|回复: 49
收起左侧

从对DS一无所知到想转码的两年,工作感悟

  [复制链接] |只看干货
我的人缘0

升级   13.57%


分享帖子到朋友圈
ahen | 显示全部楼层 |阅读模式
本楼: 👍   100% (18)
 
 
0% (0)   👎
全局: 👍   86% (243)
 
 
13% (39)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?注册账号

x
本帖最后由 ahen 于 2020-5-9 14:20 编辑

憋了几个月的气准备转码,结果遇上疫情眼看要凉凉,干脆干点报答社会的事情记录下来自己这两年的工作感悟和最近面试的感悟。看这个版面很多想转DS的,也算是提供个Data point。

背景:
已经在别的帖子被猜出是经济PhD就不隐藏了。楼主方向是计量,但理论做得不好,主要擅长玩数据做应用。读PhD的时候抱老板大腿,再加了些machine learning的入门级东西做了个在经济类还算比较新颖的论文,合发了个顶刊。老板是做理论的,难得发了篇应用顶刊,特别开心,盯楼主比较紧,希望楼主能找个好教职。楼主性格比较乖,于是愣是整个PhD期间没有实习或长时间休假,但其间也发现自己只喜欢做modeling和写码玩数据,不想花时间写论文改论文,所以在最后一年直接找DS的工作。当时因为完全没了解DS的工作(好像只问了俩大厂的DS,不大熟也没拿到什么有用的信息),误以为DS= 做machine learning,于是就去了个湾区没存在感startup当DS。那时候还有好几个教职的onsite(当然也不是好教职),我都withdraw了,老板竟然表示理解。楼主有个在湾区大厂当SDE的老公,老板表示人活着就是为了生活,为了教职搞得夫妻两地分居也不值得。楼主大悔早知老板如此善解人意就该做个实习。。。当时连老板都以为楼主是去做Machine learning,还说以后多回来交流交流看看能不能把先进方法用在research里面,于是楼主就像村里出了个大学生那样挥别老板一无所知来到了湾区。。。

为啥会啥都不知道呢?当时不知道是简历的问题还是啥别的问题,统共只拿到了两个DS的面试,一个挂在了电面,另一个拿到了Offer。恩,电面通过率50%, onsite通过率100%。我连跟真DS聊几句的机会都很少。

DS究竟干什么?

我觉着现在湾区大部分公司的DS是analyst。如果一个公司同时有ml eng和DS那基本没跑是analyst。

我司就有ml eng. 我司DS基本就是product analyst。-baidu 1point3acres

平心而论,我司DS相比传说中的很多大厂DS的工作还算比较有趣。因为公司人少,项目里面都是各种职能混在一起,这两年楼主模型也做过,data pipeline也写,还做过eng rotation,就是集中做比较junior eng的工作。但大部分时间确实是在做数据分析和写分析报告。总体说来我司不鼓励DS整天做点小sql,DS的领导们教育我们要学会把这些小request push back,做更有意义(impact)的事情。

话虽如此,执行难度还是比较高的,非常看PM和大家对你能力的信任程度。如果PM本身没啥技术水平或者对DS的认识比较片面,就很容易把DS当做sql monkey (当然这种项目里面eng一般也就是个零碎打杂的)。另外我第一年和一个senior的DS(其他对我比较好的senior DS评价此人更像PM,看来日常黑PM。。。)在一个项目,就被压榨比较厉害,真是各种杂活苦活脏活还没有credit。那时候非常想转码。
后来换组,遇到了几个比较好的senior DS,和一个非常支持我工作的项目负责人,明显感受到工作中受到了很多尊重和信任。上班的愉悦度比较高,除了对未来前景的担忧和对不能写码的遗憾外。

比较羡慕ml eng的几个点:
1. 学习机会比较多
浩如烟海的论文导致他们的学习小组总能顺利开办(并且在生产系统里面尝试),而我带的DS学习小组经常找不到可讨论的东西且很难说服领导让我们少做点常规数据工作搞点炫酷的的东西,气哭。每次看他们讨论新技术新论文,羡慕哭。. check 1point3acres for more.
2. $$
同级别mle比DS收入高,于是和他们一起工作总觉着自己是二等公民,事实上也是二等公民。很多时候mle不做data pull交给DS来做不是他们不会而是因为他们时间更有价值。不过这个在逐渐变senior后会有改善,可能主要因为同事们不好意思再找senior DS做杂活儿。。. check 1point3acres for more.
3. 工作趣味性
senior的ml eng经常能得到重写模型的机会,就会非常酷炫。senior的DS大多时候靠groupby mean吃饭。。以至于有次我分到了reinforcement learning的simulation和定reward function的工作(还是主动申请的),在众senior DS中炫耀许久。同时眼红另一个同事分到了重写A/B test一个东西的工作。恩,平时的大多活儿真心缺乏technical上的挑战。当然啦,对有些人来说这是个优点,比如某比我级别还高点的同事(管理岗)就很表示每天不动脑子写写sql躺着赚钱多好啊。。。我。。。
4. 上升空间大
相比我司DS,我司ml eng天花板起码高两级吧。不知道大厂什么情况。

不羡慕ml eng的几个点
1. 运气不好的话项目极无聊
他们经常跑一些调参的无聊实验。。我rotation的时候做过点,平时看着都觉得难过。
2. 产品参与度低
对非技术背景出身的PM来说,eng比DS还没共同语言。。。基本上升到project leader之前就不要指望太多的产品设计参与度了。

总体感觉利大于弊?想转码。。当然也希望众大神们指正。

我司DS几个主要出路:
1. 转码:
1.1 跳槽转SDE:这部分人大部分属于写码狂热者,在公司的时候就爱给大家写各种tool,转码理所当然。
1.2 本公司转MLE:大部分多少有eng或者CS背景,莫名当了个DS。
2. 本公司当PM:
楼主感觉自己英语好一些,爱开会不爱写码一些的话估计就会走上这个道路。随着越来越senior,很多时候都在分析如何把产品做好,于是PM属于比较自然的出路。
3. 本公司当manager:
manager也分狂热做IC工作型和甩手掌柜型,但是跳槽可能不是很容易继续当manager。
4. 变成更senior的IC:
楼主现在的状况,但感觉上升空间非常有限。想走1.2但是人家表示最近不收人,气哭。


其实楼主DS当勉勉强强吧,虽然时间不长但是一直在机要项目,从工作一年起开始带新人,领导也比较信任(虽然他们都知道我想转码因为我申请了1.2,很讽刺。。),所以最后分享一点工作感悟吧。

最后讲讲如何(在我司)当好DS:
每个公司不一样,不知道能有多大参考性,所以只能说就我的体悟感受一下:
1. 分析报告主要需要的是论点清晰,论据有力,而不是炫技。
自从我开始关注怎么组织论点呈现论点,和提供actionable建议后,领导们对我的评价就上升了很多。以前数据报告话各种绚烂的图,做各种酷炫的inference,如今靠groupby,mean和plt吃饭。
2. 不用数据报告炫技不代表技术不重要,会做其他人不会做的事情可以提升自己的reputation和获取信任,拿到更重要的项目。
每个季度总有那么几次,来的task比较非常规,而且需要快速产生directionally right的结果。这个时候我感觉多年PhD的经验还是有帮助的(找资料和开脑洞的能力比较强)。尤其带新人以后,遇到的疑难杂症会更多,如果不能给出比较好的解决方法会被新人鄙视。
3. 交流能力极度重要
这个不是英语好坏的交流能力,而是从他人那里得到信息和表达自己观点这种交流能力。但我感觉我的后者多少有点被前者限制。。。这个关系到:1.你有没有足够的product sense来做有意义的analysis, 2. 你能不能说服有权力得人来执行你的actionable。

所以其实如果不担忧上升空间(也许别的公司上升空间比较大?),不那么喜欢写码,喜爱指点江山(提供建议),DS还是不错的工种的。

这里面肯定有很多片面的地方,欢迎大神们指正。要是觉得有帮助请赏点大米,谢谢!



评分

参与人数 54大米 +66 收起 理由
mcdullna + 1 给你点个赞!
gwizard + 2 欢迎分享你知道的情况,会给更多积分奖励!
redeye1 + 1 很有用的信息!
卤蛋仙人1 + 1 给你点个赞!
GabriellaJG + 1 写得太棒了
DL + 3 给你点个赞!
ellenhua + 1 给你点个赞!
锤锤儿呀 + 1 赞一个
curtis.kd + 1 赞一个
goodMan909 + 1 赞一个

查看全部评分


上一篇:北美一般学校统计master如何专product manager
下一篇:有小伙伴介绍一下英国DS行业情况吗?

本帖被以下淘专辑推荐:

我的人缘0

升级   13.57%

 楼主| ahen 2020-5-11 06:16:07 | 显示全部楼层
本楼: 👍   100% (8)
 
 
0% (0)   👎
全局: 👍   86% (243)
 
 
13% (39)    👎
jesshxh 发表于 2020-5-11 04:43
感觉换工作真的好难,面试可以考到的东西太多了。我现在是准备去补cs课跟努力刷题转码。感觉ds是拿一份工资 ...

大家搞个学习小组一起转码吧哎,我是真心很担忧DS的前景。

虽说eng也有eng的压力。。。
回复

使用道具 举报

我的人缘0

升级   13.57%

 楼主| ahen 2020-5-13 11:39:32 | 显示全部楼层
本楼: 👍   100% (5)
 
 
0% (0)   👎
全局: 👍   86% (243)
 
 
13% (39)    👎
本帖最后由 ahen 于 2020-5-13 11:42 编辑
rkr123456 发表于 2020-5-12 00:53
想问问楼主,engineering的能力到底是怎么来衡量呢?或者说在coding有感觉初哪些方面,你老公的engin ...

我常年和engineer一起工作,我来举几个例子。
一个项目有三个ml eng,项目是读篇论文要实施。
eng1: 刚入职的小白,搭data pipeline都要我帮忙看sql怎么写,code review需要改几次。
eng2: 大厂三年经验跳槽过来的,调论文的包,和我们系统不兼容,哼哧搞了一周大概跑上了。
eng3: 工作五六年的staff eng (含金量没大厂高),看完论文说,其实本质上是这样这样,我们这么改改就能很简单得用了。

一个组有三个general eng,工作内容之一是维护个pipeline把我们DS计算出的数据update到用户面板上。这个pipeline必须每天运行,于是有时候因为bug就断了,然后必须马上修。pipeline不是他们搭建的(是刚工作的我和另一个senior eng搭的,我比较菜,我俩衔接的地方容易出bug)。
eng1: 刚入职的小白,我带着他看程序,告诉他问题在哪儿,该怎么修。
eng2:工作两年多,时灵时不灵,大多时候我指出bug就行了。
eng3: 工作五年,接近staff eng,基本从不需要我帮忙,好像他搭的一样。

粗略估计,eng3的工作效率是eng2的三倍,eng1的五倍。

我没和我老公一起工作过,但是这个评价,是我从他的本科同学那里听来的。如果一个中国CS牛校毕业的人说这个人eng能力领先他自己五年,这个估计算”远超常人了”吧。
曾经嫌我买菜太多,很短时间(一两天?)给我写了个冰箱菜要放坏了提醒软件。
做过startup,一个人写好整个框架。
面试从不用刷题。我刷题不会的问他都会。(但是随着我进步,从都会变成了基本都会)。
恩,你能看出我很崇拜他。。。目测水平高于上面的eng3.

提升方法,我请教过很多人。
我老公:(简单粗暴丢了本书)https://github.com/ksatria/MK-De ... sign%20Patterns.pdf
这个人我觉着妨碍他升职的主要矛盾应该是soft skills恼火。自己啥都明白,教人水平很差。所以他有时候害怕跟我一起回国会看着我飞黄腾达(我的白日梦)。

其他人说的跟你差不多,无非就是多写多看多思考多总结。我甚至有十几年码农同事说,其实大部分工作真心没啥需要智商的,无非就是年轻时候多努力点,假以时日就好了。

评分

参与人数 2大米 +2 收起 理由
虎脸大猫咪 + 1 赞一个
rkr123456 + 1 感谢楼主!回复真的太受用了!

查看全部评分

回复

使用道具 举报

我的人缘0

升级   13.57%

 楼主| ahen 2020-5-10 12:36:17 | 显示全部楼层
本楼: 👍   100% (5)
 
 
0% (0)   👎
全局: 👍   86% (243)
 
 
13% (39)    👎
FE_MLE 发表于 2020-5-10 10:33
哇,楼主你是DS之光!
感觉对DS-analytics总结的太好了!!
我其实对转码很迷茫,求楼主帮忙定位:

额,DS之光真的不敢当,只不过工作的时候一直思考自己的前途,多看看多想想而已。以下内容也只供参考。
先说码这一部分:

我觉着你可以做mle,因为我听说其实大部分公司对mle的要求都是实现算法而不是研究新算法。很多大公司有专门的researcher来研究新算法,这个工作肯定轮不到master或者外行PhD,但如果说只是implementation我们混饭吃还是有可能的哈哈。

不过我隐约觉着这年头mle行情变差了,(似乎谁回复过现在大厂mle都需要PhD了,不知真假),至少我司以前招的大部分mle都不是PhD,所以我有点迷惑。

DE我也觉着职业发展一般般,在我司属于,干着infra类似的事情但是曝光度不如infra,大多时候都在后台支持我们data pipeline的辅助型工种。但我就这么一个数据点,仅供参考。

我老公认为general的sde比mle有前途,因为sde摇身一变就是mle。但是他PhD学AI的,且engineer能力强悍程度远超常人,所以也是仅供参考。不过我之前面试eng也遇到过大厂sde做ml eng的情况,我司这种情况基本没有。

然后analytics型的DS:
如果你master是DS,那估计很多recruiter会认为你背景贴DS,所以有可能拿一些analytics 的DS来找你。这个嘛我只能说看你写严肃代码和写sql分析产品更喜欢哪种了,以及$$压力。楼主在家吃软饭多年,靠卖萌活着==+,所以没特别大的财务压力。你想多挣钱的话还是努力一把转码吧,除非你交流能力爆表,走管理道路,否则我感觉至少现在看来DS财路不如eng好。

其实什么都懂一点什么都挺喜欢还挺适合小公司当DS然后转PM的。。就是对communication要求很高,以及我总感觉有点文化差异。。
回复

使用道具 举报

我的人缘0

升级   36.5%

本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   94% (257)
 
 
5% (14)    👎
非常感谢lz的分享。
同样是senior ds在某大厂。平时工作大量写码,设计algorithm,几乎没用过sql。
有转mle的想法,主要是因为可以和engineer更好的对接交流,然后实际工作中可以做model deployment来unblock自己组。
但是同时感兴趣lz做managing的经验,想具体问问你带新人带小团队有什么分享吗?
谢谢!
回复

使用道具 举报

我的人缘0

升级   13.57%

 楼主| ahen 2020-5-10 06:04:28 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   86% (243)
 
 
13% (39)    👎
Lenin 发表于 2020-5-10 04:54
非常感谢lz的分享。
同样是senior ds在某大厂。平时工作大量写码,设计algorithm,几乎没用过sql。
有转mle ...

楼主严格说还不算senior DS,因为做着senior的活没有senior的title。老板说这次去提promotion的事情但是不知道疫情下能不能成。

带新人谈不上特别的manage experience吧。带了俩新人,第一个完全是为他人作嫁,上路以后就完全是被那个压榨过我的senior压榨,大多时候我也就是帮他研究怎么解决他山一般没太大意义的脏活累活(就像第一年的我)。这个senior在公司人脉很广,我和新人共同的老板又是个新manager,能力话语权都不大行,所以虽然我一直argue我负责的这部分工作重要且多想把他捞出来,未果。这样半年后我同方向一个同僚跳槽,新人喜极而泣地从那个血汗项目里面出来了。

现在他已经快一年了,负责这个跳槽同僚以前的工作。私人关系很好,工作很多重叠的地方,大多时候我俩有啥工作商量着做,尽量不给对方制造更多的活儿@_@。另外我俩定期开会讨论他不大确定的工作给点建议。

第二个新人这个季度才开始带,不过因为派放在了我负责的项目上(负责=负责数据部分),所以比较难的一点在于如何给她设计适合她能力但又有impact的工作。而且这个项目加上我自己的项目以及因为渐渐senior了要参与一些planning的东西,开会特别多,一个星期十几个小时开会比较头大。我一般的逻辑都是尽量1.解决新人的比较浅显的技术难点unblock他;2.让新人自己去和人communicate,寻找需要的信息。一般提前和他们要交涉的对象打个招呼说这是我带的新人。3. 比较难的task给点hint,让新人多摸索一下。

总之我感觉就是己所不欲勿施于人吧。学习对我比较好的senior,不能像那个压榨人的senior一样。虽然他那样很容易捞credit但我感觉太损人品,也不利于建立长期伙伴关系(至少我和我的新人一号都不想和他合作了)。

另外在很多时候都和比我新的人有合作关系,这个时候主要就是多提供idea,然后楼主一般都比较慷慨得表示这些task我都会,你们喜欢哪个挑哪个去做吧(在这一刻感觉自己豪气干云)。
-baidu 1point3acres
我很好奇层主你所说的设计algorithm。但是如果不能直接deploy怎么评价algorithm的好坏呢?以及所谓设计algorithm是类似于ML新论文那种设计还是把已有的科研成功用在产品上那种设计呢?谢谢!


回复

使用道具 举报

我的人缘0

升级   26.5%

Sheena.绔绔 2020-5-10 06:33:05 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   95% (41)
 
 
4% (2)    👎
感谢楼主分享,对new grad很有帮助了!尤其是最后如何当好DS这一点
回复

使用道具 举报

我的人缘0

升级   36.5%

本楼: 👍   100% (2)
 
 
0% (0)   👎
全局: 👍   94% (257)
 
 
5% (14)    👎
ahen 发表于 2020/05/10 06:04:28
楼主严格说还不算senior DS,因为做着senior的活没有senior的title。老板说这次去提promotio...
非常感谢你的回复
先自打脸一下 那这样说我也不是senior哈哈哈
algorithm在很多时候是类似数学建模的优化类问题,也有统计方面的问题或者跑ml来做一些判断。比如最近做的一个和perception有关的问题,我们是靠已有的模型比如最简单的vgg resnet这些跑一下看看效果 然后再做调参feature engineering来优化。当模型差不多做好以后,就轮到engineer他们来做deployment了 因为上production的模型需要满足大体量,我们自己跑跑的情况肯定不能scale up。具体说就是比如我们自己做好模型的structure以后engineer来做container来部署cluster和call这个end point。上线的数据量可能在PB级别所以为了满足latency要求ds力有不逮。
但是说了这些吧 感觉技术东西如果不是特别专业的方向 比如专业做perception 然后需要很好academic background来implement前沿研究的 我觉得主要发展的bottleneck还是功夫在诗外。
经常被人际,management,customer obsession的事情搞得脑壳疼。这些事情如果以promotion导向为目的的话占了超过一半的比重。所以其实特别想了解了解提升这些。
回复

使用道具 举报

我的人缘0
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   94% (3897)
 
 
5% (245)    👎
Lenin 发表于 2020/05/10 04:54:13
非常感谢lz的分享。
同样是senior ds在某大厂。平时工作大量写码,设计algorithm,几乎没用过sql。
有...
想问问哪家大厂senior DS可以做algorithm的,最近想了解一下各种机会
回复

使用道具 举报

我的人缘0
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   94% (3897)
 
 
5% (245)    👎
我跟楼主比较像,其实楼主你有老公(不担心身份)而且还能在startup这样的小公司得到的锻炼多一些。我因为公司大,model做好了上面management不想改,所以没啥做model的需求,想做engineer搞deployment结果组里又不希望我走,因为没人能做我的事。组还特别top heavy,想带带新人delegate work都不可能。结果工作这几年,product sense有了,搞分析报告基本上摸透用户的心了,SQL写得贼熟(对,但是真的觉得不怎么technical,还是想做回设计algorithm甚至design scalable model code,可惜现在疫情一来,好多project往后打,各种非常规事情,转型机会越来越少。我觉得如果楼主你喜欢technical的还是往MLE跑吧,因为以后要真的想指点江山躺着赚钱,也是需要有懂得整个production pipeline的skill的,毕竟好多数据看看可以,放模型里面却不容易得到想要的结果
回复

使用道具 举报

我的人缘0

升级   50%

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   89% (382)
 
 
10% (43)    👎
想问一下楼主在做第一份DS工作的时候刷了多少题呀?还有就是楼主觉得找ds工作刷多少题才比较合适呢?
回复

使用道具 举报

我的人缘0

升级   50.57%

FinalLi 2020-5-10 09:21:37 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   75% (21)
 
 
25% (7)    👎
感谢楼主分享
回复

使用道具 举报

我的人缘0

升级   8.29%

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   84% (88)
 
 
15% (16)    👎
话说如果公司内ds工资比mle低,那么pm和mle比较呢?
然后就是mle需要这种c/cpp这种底层的知识吗?
十分感谢!大米送上啦
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

隐私提醒:
■拉群请前往同学同事飞友|拉群结伴版块,其他版块拉群,帖子会被自动删除
■论坛不能删帖,为防止被骚扰甚至人肉,不要公开留微信等联系方式,请以论坛私信方式发送。
■特定版块可以超级匿名:https://pay.1point3acres.com/tools/thread
■其他版块匿名方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|||一亩三分地

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

Some icons made by Freepik from flaticon.com

快速回复 返回顶部 返回列表