一亩三分地

 找回密码 注册账号

扫描二维码登录本站

微信公众号
扫码关注公众号
留学申请公众号
扫码关注留学申请公众号
楼主: haoguoxuan
收起左侧

浅谈一些DE感想: 迅速红海化的DE+成熟的DA和DS+数据行业的SDE

    [复制链接] |只看干货 |数据科学
我的人缘0

升级   56.5%

chelseason 2020-10-28 07:04:09 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   100% (10)
 
 
0% (0)    👎
之前也想转DE,感觉更容易入门一点点(没有说DE简单的意思),后来发现转SDE其实更容易,虽然看起来刷题比较辛苦,因为需求量大很多很多。
回复

使用道具 举报

我的人缘0

升级   54.5%

本楼: 👍   100% (5)
 
 
0% (0)   👎
全局: 👍   99% (118)
 
 
0% (1)    👎
同de
-baidu 1point3acres
已经在思考后路了,当一个数据系统从0到逐步稳定后,你差不多也就到了该离开的时候了。我在数据org里的ingestion组,分配任务时,我都是挑coding量比较大的python,sh,nodejs,spark等,少data pipeline config,少sql的tkt,这样能够在不同的环境 系统 language里边切换,再automate过程。

我一毕业就是DE,DE的初级杂活极其无聊,有的杂活,说句难听的,弱智都会。刚刚开始做了几个月,毕竟能同时积累big data的经验,了解工具什么的,倒也不错。之后就招来新人打杂,我也顺利过渡到自己initiate solution的阶段。

给想进来同学点个人小建议,不要去小公司做数据,数据量不够,人手太少,那种DE都是过家家。我们公司数据量挺大,DE 有 50 多人吧,architecture 还是挺复杂的,这样你会接触很多的问题,场景。我有时jd,同样是DE,有的能非常简单,有的缺很复杂。在新手期,尽可能多接触工具,广度要求比较高,搭个知识框架。看知名公司的blog(关于data architecture),uber那个很棒,他们的主负责人最近去apple 做headof了。还有本书 ddia,designing data intensive applications,系统设计都会看的吧,🐶。

我受不了太detail的sql,太多跟stakeholder的沟通,太多business oriented 任务,这是我看我们下游dwh组的工作感受到的。核心就是远离sql-based role,离得越远💰越多,系统理解越好,门槛也越高。我比较喜欢在不同系统环境间的work,已经在往data infra or sde data方向转了。cs专业的我,绕了一圈,最终还是得把java捡起来。🤷‍♂️

评分

参与人数 1大米 +1 收起 理由
ychen134 + 1 很有用的信息!

查看全部评分

回复

使用道具 举报

我的人缘0

升级   61.57%

fatfatjoey 2020-10-29 00:14:41 | 显示全部楼层
本楼: 👍   100% (2)
 
 
0% (0)   👎
全局: 👍   91% (2034)
 
 
8% (189)    👎
vincezz 发表于 2020-10-28 08:01
同de

已经在思考后路了,当一个数据系统从0到逐步稳定后,你差不多也就到了该离开的时候了。我在数据org里 ...

DDIA虽然讲得很系统,但是仔细掰扯一下也没有什么以前不知道的的可以大幅提升系统性能的知识。感觉现在scalability都不是问题,主要还是实时性,但是这块儿在系统设计上也没太多可做的,总有tradeoff,要进一步提升只能依赖革命性的新工具出现了。

我受不了太detail的sql,太多跟stakeholder的沟通,太多business oriented 任务,这是我看我们下游dwh组的工作感受到的。核心就是远离sql-based role,离得越远💰越多,系统理解越好,门槛也越高。


^^^ 强烈同意这点。给business stakeholder准备数据这种活儿真的是傻子都能做,stakeholder经常都不知道自己要什么,需求天天变,每次需要帮忙干这个的时候都很烦。
回复

使用道具 举报

我的人缘0

升级   54.5%

本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   99% (118)
 
 
0% (1)    👎
fatfatjoey 发表于 2020-10-28 09:14:41
DDIA虽然讲得很系统,但是仔细掰扯一下也没有什么以前不知道的的可以大幅提升系统性能的知识。感觉现在scalability都不是问题,主要还是实时性,但是这块儿在系统设计上也没太多可做的,总有trad
🤝 哈哈
同意,ddia搭知识框架比较好。它对非senior的人来说 应该还能有不少帮助
回复

使用道具 举报

我的人缘0

升级   20.57%

正正666 2020-10-29 08:43:38 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (10)
 
 
0% (0)    👎
andrew69 发表于 2020-10-27 22:55
应该就是“老印”的意思啦
啊哈哈这样啊,谢谢~
回复

使用道具 举报

我的人缘0

升级   52.5%

gualigee 2020-10-31 16:17:40 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   64% (237)
 
 
35% (129)    👎
我想问下DE是什么的缩写?
回复

使用道具 举报

我的人缘0

升级   61%

酱汁肉 2020-11-4 00:48:39 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (9)
 
 
0% (0)    👎
gualigee 发表于 2020-10-31 16:17
我想问下DE是什么的缩写?

Data Engineer
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

隐私提醒:
■拉群请前往同学同事飞友|拉群结伴版块,其他版块拉群,帖子会被自动删除
■论坛不能删帖,为防止被骚扰甚至人肉,不要公开留微信等联系方式,请以论坛私信方式发送。
■特定版块可以超级匿名:https://tools.1point3acres.com/thread
■其他版块匿名方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|||一亩三分地

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

Some icons made by Freepik from flaticon.com

快速回复 返回顶部 返回列表