<
查看: 1539| 回复: 8
收起左侧

[研究方向] Data engineer vs SDE

泰勒 | 显示全部楼层
本楼:   👍  0
0%
0%
0   👎
全局:   37
95%
5%
2

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
. ----
想问下data engineer 是sde 的一种吗?. check 1point3acres for more.
之前做过一段时间的de 用aws的服务写的etl。由于自己本科学的不是ce or cs, 不确定这算不算一种软件工程。


未来想转到科技的行业, 想问下各位, 选工作 sde 和de的职业发展的方向, 好坏。. 1point3acres


sde对我来说也是个很大的词, 里面也包括了很多分支。 请问大家可以介绍下 目前主流的几个不同sde 方向 做的东西吗?

..
十分感谢。

上一篇:国内文科本硕,有身份,自学转码求学习建议
下一篇:转MLE路上的小迷茫,求建议,本人听劝
本楼:   👍  4
100%
0%
0   👎
全局:   4
100%
0%
0
Data engineer 是专门做data pipeline的,有batch的也有streaming的,产出的数据是给data scientist服务的。
会经常使用sql,spark/hive,kafka/flink,以及pipeline一般会跑在调度系统上面。. ----

SDE感觉更是开发微服务,提供api给用户。
回复

使用道具 举报

矿大男神 2024-2-17 02:29:01 | 显示全部楼层
本楼:   👍  2
100%
0%
0   👎
全局:   3328
93%
7%
268
一般公司对DE的定义基本上和DA差不多,熟练使用SQL,有product sense,data modeling会搭ETL之类的。
像楼上这种spark性能调优这种DE属于DE-Data infra方向,我感觉比较偏底层,需要的人不多,一般大公司超大数据有用。
回复

使用道具 举报

本楼:   👍  2
100%
0%
0   👎
全局:   306
97%
3%
11
de不是sde
回复

使用道具 举报

maxj 2024-2-17 02:15:42 | 显示全部楼层
本楼:   👍  1
100%
0%
0   👎
全局:   130
96%
4%
5
借贴问一下,像不是DE那种天天写个script实现business logic,只做spark性能优化,用的基本是distributed system的知识,这种在一般公司算DE还是SDE?我碰到的DE都不是很care底层到底在干什么
回复

使用道具 举报

maxj 2024-2-17 03:27:13 | 显示全部楼层
本楼:   👍  0
0%
0%
0   👎
全局:   130
96%
4%
5
矿大男神 发表于 2024-2-16 13:29. From 1point 3acres bbs
一般公司对DE的定义基本上和DA差不多,熟练使用SQL,有product sense,data modeling会搭ETL之类的。. 1point 3acres
像楼 ...

也就1-10PB,还是天天xjb用,乱花钱,正儿八经TBlevel算不错了。
做得太无聊,求指点应该转什么方向。做DE没兴趣,应该搞搞SDE infra还是MLE infra。
回复

使用道具 举报

本楼:   👍  1
100%
0%
0   👎
全局:   306
97%
3%
11
maxj 发表于 2024-02-16 10:15:42
借贴问一下,像不是DE那种天天写个script实现business logic,只做spark性能优化,用的基本是distributed system的知识,这
你这种属于sde

评分

参与人数 1大米 +1 收起 理由
maxj + 1 很有用的信息!

查看全部评分

回复

使用道具 举报

沃洛德施主 2024-2-17 05:13:38 | 显示全部楼层
本楼:   👍  1
100%
0%
0   👎
全局:   550
86%
14%
92
你应该想问的是DE是不是和全栈开发工程师一样,答案是略有不同,全栈有很多前端相关的活,但是DE基本都是backend,本质上DE就是SDE,只不过开发的软件没有UI,基本上只在服务器上自动跑。举例,DE写一个ETL程序,把AB两个数据库里的东西拿过来,按照business logic处理一下,最后load进C数据库,这个程序也是一个软件吧,你DE也要负责开发测试维护吧。
回复

使用道具 举报

txyxfox 2024-2-17 06:56:08 来自APP | 显示全部楼层
本楼:   👍  1
100%
0%
0   👎
全局:   4257
99%
1%
57
我觉得看title了,前一分工作的内容别人也没办法verify。我之前实习就是在大数据分析的公司。做过的包括组会听到的相关名词有datapipline,spark,hive,还要写User Defined Function来服务数据处理/清洗。 UDF这个就比较偏SDE了,需要用各种内部外部的service / library 来process data。

补充内容 (2024-02-17 06:58 +08:00):
这个实习干了半年,然后裁员潮来了就没有return offer了,最后上岸去了小公司做后端。实习titile给的是SDE,但是感觉更像是DE。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

Advertisement
>
快速回复 返回顶部 返回列表