查看: 843|回复: 15
收起左侧

[换组 Internal transfer] 请问data ingestion,software engineer具体做什么

|只看干货
匿名用户-06E  发表于 2021-10-25 05:04:34 |阅读模式
本楼: 👍   0% (0)
 
 
0% (0)   👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
如题,请问有没有做过的人来分享一下经验?感谢

上一篇:Google普通程序员L3-L6经历分享
下一篇:聊聊毕业6年狗家L3到L6
地里的匿名用户
匿名用户-204  发表于 2021-10-25 06:58:50
本楼: 👍   100% (4)
 
 
0% (0)   👎
写各种data pipeline做数据处理和转换,没什么深度,挺无聊的
回复

使用道具 举报

地里的匿名用户
匿名用户-983  发表于 2021-10-25 11:40:39
本楼: 👍   100% (1)
 
 
0% (0)   👎
回复

使用道具 举报

jollyBear 2021-10-25 09:19:09 来自APP | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   96% (836)
 
 
3% (27)    👎
站在stakeholder的角度插一嘴,我十分希望做Data ingestion的SDE在data refresh前后能够及早发现一些潜在数据质量问题,比如历史上某些时间段的用户数目更新前后出现了极大的波动,被记录了多次不同死亡日期的患者。这需要对经手的数据的敏感性,以及积累对内部外部数据用户的Use case的了解。

补充内容 (2021-10-25 09:20 +08:00):. check 1point3acres for more.
当然,我说的这些一般也只要求Head of data ingestion team能基本做到,不指望team里面人人能做到
回复

使用道具 举报

LittleFishBall 2021-10-25 09:53:35 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (3062)
 
 
3% (100)    👎
基本上就是data system 上游的 pub-sub, 还有 kafka/kinesis 这些。可能没个部分都不是很复杂,但是整体是挺多细节的。喜欢 business logic 和 direct business impact 的可能不喜欢这种组。 但是喜欢 data 的话,其实可以学一学还行的。
(求米求米)

评分

参与人数 1大米 +1 收起 理由
IreneXX + 1 赞一个

查看全部评分

回复

使用道具 举报

LittleFishBall 2021-10-25 09:57:15 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (3062)
 
 
3% (100)    👎
jollyBear 发表于 2021-10-24 18:19
站在stakeholder的角度插一嘴,我十分希望做Data ingestion的SDE在data refresh前后能够及早发现一些潜在数 ...

可以具体讲一些吗。 还有 data ingestion 的 stakeholder 具体是做什么呀?
回复

使用道具 举报

地里的匿名用户
匿名用户-983  发表于 2021-10-25 11:28:09
本楼: 👍   0% (0)
 
 
0% (0)   👎
LittleFishBall 发表于 2021-10-24 18:53:35
基本上就是data system 上游的 pub-sub, 还有 kafka/kinesis 这些。可能没个部分都不是很复杂,但是整体是挺多细节的。喜欢 business logic 和 direct
哪些厂这方面在业界做的比较好?
回复

使用道具 举报

地里的匿名用户
匿名用户-983  发表于 2021-10-25 11:29:53
本楼: 👍   0% (0)
 
 
0% (0)   👎
匿名用户 发表于 2021-10-24 15:58:50
写各种data pipeline做数据处理和转换,没什么深度,挺无聊的
如果想在这个方向做深入,升senior,可以做些什么?
回复

使用道具 举报

LittleFishBall 2021-10-25 11:33:26 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (3062)
 
 
3% (100)    👎
匿名者 发表于 2021-10-24 20:28
哪些厂这方面在业界做的比较好?

如果是 data application (pipeline 业务逻辑), 基本所有厂都有吧,如果是 data infra, 就得去造轮子的 Confluent, Uber, LinkedIn 这些,不然其他的容易沦为 devops.
回复

使用道具 举报

LittleFishBall 2021-10-25 12:19:51 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (3062)
 
 
3% (100)    👎
匿名者 发表于 2021-10-24 20:29
如果想在这个方向做深入,升senior,可以做些什么?

同问哈哈。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
职场达人
  • ↑ 本版用于讨论职场各种干货话题,闲聊请去🔗聊聊或者🔗匿名版
  • ❌ 本版严禁水贴,引战,发布广告,拉群,贴个人联系方式,扣分无警告
  • ☑ 求职、面经等去 🔗北美求职和 🔗回国求职大区,刷题和学习请去 🔗终身学习大区
  • ☑ 请去专版发布 🔗内推, 🔗招聘信息,和讨论 🔗创业内容

本版积分规则

>
快速回复 返回顶部 返回列表