刚入职DA 亚历山大

最近刚入职一个startup做data analyst。公司发展快，不像大公司那样有明显的hierarchy，氛围可以。不过刚入职的这一周真的是什么都听不懂，每天都是信息量爆棚的一天，和平时上学完全不一样。开会的时候基本不知道manager在说什么😀，感觉同组其他入职比我早两个月的员工已经会了好多东西。压力好大。而且我作为一个DA（我承认我基础不够扎实），上来第一周manager就说我接下来会用python pandas做一些data pipeline和ETL的工作，提高data quality。难道pipeline和ETL不应该是DE的工作吗？之前没有ETL和pipeline的基础哎。
亚历山大，求开导。

老板说的data pipeline 和 etl 应该是比如给你一个脏的数据你用pandas把它清理到可以进入模型的那种干净数据...

然后把这个过程的代码写成一个class/function这样以后人家直接调用 (就形成了一个pipeline) 这不就是da干的活吗...

压力不要太大，招你进去是说明至少他们认为你能符合这个工作的要求，而且做da没有什么模型performance要求，上手了就很轻松了

这不很正常么
我工作很多年了 每次做一个新domain的项目的前几天都两眼一抹黑

对于还在失业中的人来说，已经算很好了⛽️

不管是DA，DS，DE，工作内容90%都是data janitor

你这个data pipeline和DE的并不一样，我觉得是你老板乱用了术语。哪有DE会用pandas做pipeline？pandas就是DA的基础技能。

楼上正解，他意思应该让你写一些script能够让每天新来的数据自动生成ready to use的数据。楼主不用太担心，刚入职会有一个曲线的，只能过去那个曲线接下来就会很轻松的，耐心一点一点磨就好了。

这个etl可能是写个python把数据从sql server里抓出来 然后放到个别的什么地方或者再用

Vincentw 发表于 2020-06-27 10:36:44
对于还在失业中的人来说，已经算很好了

老铁加油 我也是疫情初期settle down的 一切都会变好

ZeZheng 发表于 2020-06-27 12:32:39
你这个data pipeline和DE的并不一样，我觉得是你老板乱用了术语。哪有DE会用pandas做pipeline？pandas就是DA的基础技能。

我也觉得是 你说的有道理

rmarkdown 发表于 2020-06-27 12:57:56
楼上正解，他意思应该让你写一些script能够让每天新来的数据自动生成ready to use的数据。楼主不用太担心，刚入职会有一个曲线的，只能过去那个曲线接下来就会很轻松的，耐心一点一点磨就好了。

嗯啊！当初jd上写的要两年工作经验，但是公司卡的没那么严格我就申请了，面试也没怎么考tech，就是担心公司高估了我的水平了。不过你说的对，慢慢磨会变好的