一亩三分地

 找回密码 注册账号

扫描二维码登录本站

微信公众号
扫码关注公众号
留学申请公众号
扫码关注留学申请公众号
查看: 6788|回复: 45
收起左侧

浅谈一些DE感想: 迅速红海化的DE+成熟的DA和DS+数据行业的SDE

    [复制链接] |只看干货 |数据科学
我的人缘0

升级   52.71%


分享帖子到朋友圈
haoguoxuan | 显示全部楼层 |阅读模式
本楼: 👍   100% (40)
 
 
0% (0)   👎
全局: 👍   90% (2096)
 
 
9% (212)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?注册账号

x
2017年,从大神Maxime发表的两篇文章中定义和描述了DE的角色,到现在已有3年多了。
在2017年大多数人依然在厮杀于DA/DS的岗位时,DE的需求量悄然崛起,2018年达到了一个小高峰,记得那时我只有一年多的DE经验,然而在linkedin上每周都能收到各厂recruiter的勾搭,不乏FB,Amazon,Walmart Lab。。等等,那时DE几乎是0门槛,哪怕你没有任何DE经验只要有沾边的经验都很有可能拿到面试。


这个行业变化非常快,最早的DE是绕不开一些SDE和DevOps的工作的,所以基本上可以算是半个SDE。实际上FB的DE团队2014年就有了,发展到2018年的时候一些FB的DE除了写data pipeline之外还适当的参与一些工具开发的工作,现在进FB的DE已经完全和SDE的工作没关系了,data infra不能说完美但说是业界最好的绝不为过,导致DE不需要担心解决技术问题,更多的是偏向于product和business。

其实技术栈的快速演进不是一个坏事,并不会减少对DE的需求,因为很多中小厂没有能力养一大堆DE,很多传统行业的管理层也不喜欢data pipeline代码化,更喜欢使用一些现成的工具,然后雇佣一些会使用工具的操作员,这样可替代性就很强,系统的可维护性也很强,便于管理。

中小厂现在如果把公司的数据架构都搬到AWS上去,DE只需要一点点DevOps的技能(其实也已经被极大地简化了),会python script和SQL就够了,实现简单逻辑的data pipeline甚至不需要写代码。带来的一个现象是门槛迅速被拉低和技能的工具化。很多DE的职位qualify的标准是看你有没有使用过一些常用工具,外加考简单的Python和SQL就ok了。结果就是有几年经验的DE很多转了SDE,大量廉价烙印涌了进来,很多DE的职位扔给入门水平的contractor。再加上疫情的影响,市场上的DE的坑也开始红海化。

其实这个红海化的进程比我预计的要了1-2年,综合以上状况,这个行业就是这么个现状了,我最近面的一家中厂刚刚新组的AI/ML团队,DS:清一色的Phd,全是国人和白人;DE:清一色的烙印。
-baidu 1point3acres
另外,为了刷人,招聘广告上现在一般都是4-5年以上工作经验起,可是真正令我震撼的是很多烙印兄弟简历上写着7年+DE工作经验。。还有写着10年+DE经验。。我现在投简历因为“经验太少”经常直接被拒的。。

其实也有人把传统ETL和Data Warehouse的经验也算进DE的经验,
游客,本帖隐藏的内容需要积分高于 10 才可浏览,您当前积分为 0。
查看如何攒积分 Click here for more info.

说了这么多,该不该劝转DE呢?短期之内,找工的话今年DE仍是个不错的落脚的选择,明年下半年应该难了(不是需求量小,而是少了SDE的门槛后,参与竞争的人会很多),以后竞争激烈程度貌似和DA应该有的一拼。职业发展上来说,在这个圈子里,生态链上端的依然是造工具的而不是用工具的。

补充内容 (2020-10-25 15:46):
如果觉得还有点东西请赏个米,谢谢。。

评分

参与人数 81大米 +241 收起 理由
pipichao + 1 赞一个
一个游客 + 1 给你点个赞!
clazy_zee + 2 给你点个赞!
paul0127 + 1 给你点个赞!
Sophia_Song + 1 赞一个
renov + 1 赞一个
Phenomenon. + 5 给你点个赞!
zhemeai1990 + 2 给你点个赞!
bz866 + 2 很有用的信息!
zhubq + 2 给你点个赞!

查看全部评分


上一篇:想问一个ab teasing的问题
下一篇:在哪可以找到Data Science Opening? DS找工作网站大全

本帖被以下淘专辑推荐:

我的人缘0

升级   62.29%

fatfatjoey 2020-10-26 15:46:24 | 显示全部楼层
本楼: 👍   100% (14)
 
 
0% (0)   👎
全局: 👍   91% (2045)
 
 
8% (189)    👎
本帖最后由 fatfatjoey 于 2020-10-26 15:48 编辑

纯DE肯定是没有出路,未来几年会成为和DA差不多性质的工作,甚至可能门槛更低,毕竟工具足够傻瓜的话DA也能做一些DE的活了。

我在小厂做DE,因为公司规模小,几乎是从头把data infra搞了起来,后端code也写一点,也参与很多产品设计。差不多是亲手亲眼看着我司的data infra这两年逐渐稳定化标准化。最近一年多就不太写data pipeline了,因为太简单,重复性太高。

就像楼主说的,当年Spark还在1.x的时候,写pipeline是个技术活,顺手还可以尝试给Spark贡献一点代码,现在几乎就是用Scala写SQL了。Snowflake这样的竞品应该更易用。scheduling这块也非常成熟了,很多平台甚至就是点点鼠标。你说这玩意儿有什么难的,Airflow已经解决了的问题,短期内还看不到体验上有什么瓶颈。可以预想再过几年一切都会更加傻瓜化,几乎是纯商业逻辑。

虽说很多SDE的工作也是熟练工,特别是小厂,框架技术栈都比较标准化,但是短期内还看不到傻瓜化的趋势,还是对CS fundamentals有比较高的要求。相比之下DE工作的快速傻瓜化甚至一度让我非常尴尬,InMail快被一些要求很低的DE工作占领了。所以要不要转DE这个问题我可能比楼主更消极一点,我觉得CS出身的除非实在找不到工作,不然真的别做DE,就算可能相比SDE更容易上岸,未来的发展也不会太好。
回复

使用道具 举报

我的人缘0

升级   83.29%

LesterRocks 2020-10-25 14:19:29 | 显示全部楼层
本楼: 👍   100% (8)
 
 
0% (0)   👎
全局: 👍   97% (286)
 
 
2% (8)    👎
DE的所谓”红海化“本来就是时间问题,看看技能上最接近的DS和DA就知道了,近两年已经卷成什么样了。先别说DS/ BA 类master 毕业的new grad肯定是什么BA,DA, DE, DS都投着,有什么offer接什么。目前很多不相关Phd毕业找不到DS岗的人也会投DE。市场还有一大批找不到工作或者刚被layoff的DS如果能找到DE岗的肯定也是不会嫌弃的。甚至很多CS毕业的人不想整天写代码也想转DE,所以越来越卷本来就是事实。LZ的例子里提到的2017 2018年是data类岗位最容易就业的时候,那会儿big data的概念已经是非常火爆了,可是CS毕业的人还不会去考虑做data, BA/DS类项目已经火爆可是也都刚开不久,大部分学生都是文科或者火坑专业转进来的,完全没有data实战经验。2017年的时候如果已经有了美国full time DE/DS的经验的话,可以想象那会儿大概是每天躺着拿面试了。我也是那会儿被”骗“进这个行业的,市场上炒得再火爆,0经验还是根本拿不到什么面试。但有了一两年经验在2019年的时候就很容易拿面试了,即便当时的竞争已经比较激烈了。到了今年,一方面经济形势恶化,另一方面求职者的选择越来越少,有经验也没那么容易拿面试了。

评分

参与人数 1大米 +3 收起 理由
weier_36 + 3 赞一个!

查看全部评分

回复

使用道具 举报

我的人缘0

升级   54.5%

本楼: 👍   100% (5)
 
 
0% (0)   👎
全局: 👍   99% (118)
 
 
0% (1)    👎
同de

已经在思考后路了,当一个数据系统从0到逐步稳定后,你差不多也就到了该离开的时候了。我在数据org里的ingestion组,分配任务时,我都是挑coding量比较大的python,sh,nodejs,spark等,少data pipeline config,少sql的tkt,这样能够在不同的环境 系统 language里边切换,再automate过程。

我一毕业就是DE,DE的初级杂活极其无聊,有的杂活,说句难听的,弱智都会。刚刚开始做了几个月,毕竟能同时积累big data的经验,了解工具什么的,倒也不错。之后就招来新人打杂,我也顺利过渡到自己initiate solution的阶段。

给想进来同学点个人小建议,不要去小公司做数据,数据量不够,人手太少,那种DE都是过家家。我们公司数据量挺大,DE 有 50 多人吧,architecture 还是挺复杂的,这样你会接触很多的问题,场景。我有时jd,同样是DE,有的能非常简单,有的缺很复杂。在新手期,尽可能多接触工具,广度要求比较高,搭个知识框架。看知名公司的blog(关于data architecture),uber那个很棒,他们的主负责人最近去apple 做headof了。还有本书 ddia,designing data intensive applications,系统设计都会看的吧,🐶。
. check 1point3acres for more.
我受不了太detail的sql,太多跟stakeholder的沟通,太多business oriented 任务,这是我看我们下游dwh组的工作感受到的。核心就是远离sql-based role,离得越远💰越多,系统理解越好,门槛也越高。我比较喜欢在不同系统环境间的work,已经在往data infra or sde data方向转了。cs专业的我,绕了一圈,最终还是得把java捡起来。🤷‍♂️

评分

参与人数 1大米 +1 收起 理由
ychen134 + 1 很有用的信息!

查看全部评分

回复

使用道具 举报

我的人缘0

升级   30.5%

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (143)
 
 
3% (5)    👎
刷领英job de基本都要求2+ yoe,直招new grad很少
回复

使用道具 举报

我的人缘0

升级   32.57%

firemanysx 2020-10-25 11:52:49 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   98% (75)
 
 
1% (1)    👎
不知道楼主对MLE这类岗位有什么看法?算是DS与SDE的结合吗  是位于生态链上端的吗
回复

使用道具 举报

我的人缘0

升级   52.71%

 楼主| haoguoxuan 2020-10-25 12:40:46 | 显示全部楼层
本楼: 👍   100% (3)
 
 
0% (0)   👎
全局: 👍   90% (2096)
 
 
9% (212)    👎
firemanysx 发表于 2020-10-25 11:52
不知道楼主对MLE这类岗位有什么看法?算是DS与SDE的结合吗  是位于生态链上端的吗

一般产品导向组里的人员架构是DS+DE+SDE+PM,数据分析导向组里是DS+DE。有的组招一个会懂ML的SDE做machine learning方向的工具,一般就叫"Software Engineer, Machine Learning". 半machine learning research性质的叫machine learning engineer,需求量不大。

评分

参与人数 2大米 +2 收起 理由
yue2007 + 1 很有用的信息!
armu + 1 给你点个赞!

查看全部评分

回复

使用道具 举报

我的人缘0

升级   52.71%

 楼主| haoguoxuan 2020-10-25 12:47:51 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   90% (2096)
 
 
9% (212)    👎
剪刀刺客567 发表于 2020-10-25 11:16
刷领英job de基本都要求2+ yoe,直招new grad很少

每年的bar都在提高,因为做这个的人越来越多了。其实不意味着2年经验就是必要的。
这个职位主要是希望候选人有点SQL和Python的实际工作经验。
回复

使用道具 举报

我的人缘0

升级   1.5%

hwaaron 2020-10-25 13:38:30 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (101)
 
 
3% (4)    👎
正好最近在准备DE的面试, lz可以说的非常内行的话了。
             上个月开始看kimball 老爷子的那本书...感觉后面关于big data的非常落伍了..也只有亚麻这种公司面DE的时候会着重考察 diemsional modeling 了。
   当初学databse的时候 教授也就是粗略过了下 ER model. 压根就没怎么提过dimension modeling
现在确实有着跟DA一样工具化的方向了。  不知道以后DE的发展前景怎样。  
   
回复

使用道具 举报

我的人缘0

升级   55.5%

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   99% (314)
 
 
0% (2)    👎
想问下ds da 转de怎么入门呢?
回复

使用道具 举报

我的人缘0

升级   83.29%

LesterRocks 2020-10-25 14:03:28 | 显示全部楼层
本楼: 👍   100% (4)
 
 
0% (0)   👎
全局: 👍   97% (286)
 
 
2% (8)    👎
hwaaron 发表于 2020-10-25 13:38
正好最近在准备DE的面试, lz可以说的非常内行的话了。
             上个月开始看kimball 老爷子的那本 ...

"也只有亚麻这种公司面DE的时候会着重考察 diemsional modeling 了" 实在是无法苟同。

不知道LZ是有面过多少亚麻的组才得出了在这个结论,就我所知很多组都是不怎么考这个的。我们组招DE的时候会考dimentional modeling, 但完全说不上”着重考察“, 那些基本全用NoSQL的组可能根本就不会问这个。我读书的时候database课就是用的kimball那本书,虽然上学的时候觉得这书写的都是些什么落伍的东西啊,但真实工作以后觉得非常受用,时不时还要回去翻看一下。事实是,不是随便每个公司都是流媒体的数据量的,big data说多了并不代表现实就没人用relational database 了。
回复

使用道具 举报

我的人缘0

升级   1.5%

hwaaron 2020-10-25 14:21:02 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (101)
 
 
3% (4)    👎
LesterRocks 发表于 2020-10-25 01:03
"也只有亚麻这种公司面DE的时候会着重考察 diemsional modeling 了" 实在是无法苟同。

不知道LZ是有面 ...

no no 别误解哈. -baidu 1point3acres
我只是从我自己面亚麻的经验出发哈。因为其他公司考察的不多,就相对的显得亚麻考的多。
kimble那本书很有货,我最近都在看。
  毕竟在存储跟计算都很便宜的当下,dimensional modeling的是在减少。
  而且事实上有一些 one-to many 关系不好支持。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

隐私提醒:
■拉群请前往同学同事飞友|拉群结伴版块,其他版块拉群,帖子会被自动删除
■论坛不能删帖,为防止被骚扰甚至人肉,不要公开留微信等联系方式,请以论坛私信方式发送。
■特定版块可以超级匿名:https://tools.1point3acres.com/thread
■其他版块匿名方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|||一亩三分地

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

Some icons made by Freepik from flaticon.com

快速回复 返回顶部 返回列表