Data Engineer介绍帖及找实习分享

想问下DE是java还是python呀，我看国内java多，国外貌似python多？我两个都用，需要精通到什么程度呢？

能找楼主聊一聊吗

小亩_d50d181 发表于 2023-09-21 14:48:11
能找楼主聊一聊吗

可以呀，私我绿泡泡号就好

问一下以后职业发展问题，可以转到machine learning engineer 吗

vagaa997 发表于 2023-10-24 14:25:12
问一下以后职业发展问题，可以转到machine learning engineer 吗

我觉得看team scope多一些，如果team own一些ML model，有maintain model的机会，lane swap就不会很难

胡椒牛柳 发表于 2018-12-23 16:48
pipelining是一部分，或者说大部分。
个人感觉pipeline很好玩，一堆很乱的数据整理成工整的样子很有成就 ...

从写full stack 到被投放到DE组，整天往python spark里填attributes, 再 deploy 到databricks 生成表格。无聊至极😞

angelaunique123 发表于 2023-12-01 13:31:54
从写full stack 到被投放到DE组，整天往python spark里填attributes, 再 deploy 到databricks 生成表格。无聊至极

🥲pat pat，表示感同身受…
整天写pipeline写一段时间就厌倦了

胡椒牛柳 发表于 2023-12-1 13:37
🥲pat pat，表示感同身受…
整天写pipeline写一段时间就厌倦了

好奇你现在对DE还有激情吗 😂，是什么还在支撑着你对DE的信念？ 我现在跟老板1-1 一直问他scope能不能给我找点有趣的事情做，但他说就是个data组，就是这样的活。我瞬间万念俱灰了

angelaunique123 发表于 2023-12-01 16:29:35
好奇你现在对DE还有激情吗 ，是什么还在支撑着你对DE的信念？ 我现在跟老板1-1 一直问他scope能不能给我找点有趣的事情做，但他说就是个data组，就是这样的活。我瞬间万念俱灰了

如果刚入职那时候的passion是100的话，现在只剩下20%了🥲不过往深了做还是有很多opportunity的，比如你们用databricks，有么得办法predict job size，根据job size调整cluster的大小，这样可以省不少钱之类的。

总之找找写pipeline之外的活会有意思很多。

胡椒牛柳 发表于 2023-9-27 12:08
可以呀，私我绿泡泡号就好

不好意思 我鳄梨不够 私信不了你 你有办法私信我一下吗