BA/Stats背景的FB Data Engineer萌新，自我提升&职业发展求提点

第一次发提问帖，非常感谢您能点开, 楼主大米双手奉上！

楼主是哥大在读统计硕士, 暑假结束后幸运拿到return offer, 明年春季毕业后将入职FB Data Engineer。然而技能树加点跟不上等级提升，在技术能力和职场经验都远远不足。在此虚心向各位前辈请教，还望能多多提点。

请容我先阐述一下自己的困惑：楼主目前的专业是Statistics, 本科时主修Business Analytics和Management。暑假时作为同期Data Engineer Interns 中唯一的非CS/CE/EE学生，优势是更擅长Roadmap/PPT/Presentation，且能较好地理解甲方的需求，做出令人满意的成果；劣势是技术底子薄弱，对新框架的理解和上手速度较慢，开发同样的功能可能需要别人两倍的时间，实习前半段经常搭上整个周末赶进度；此外，楼主在networking方面也做地很糟糕，不知道怎么跟美国同事搭讪，和美国同事聊天时经常找不到工作以外的话题，也因为怕生而从来没主动约过除manager 和几个同组intern外的美国人吃午餐。

对于上述问题，楼主的总结如下：

1)  编程基础薄弱。很多程序设计上的pattern对科班出身的同学可能是常见而熟悉的，而楼主则是第一次看到，对应用场景也没太多概念。

2)  数据处理相关知识匮乏。至今搞不清楚数据从前端采集到分析可视化的完整环，对离线分析的技术栈仅有模糊概念，对OLAP可以说一无所知。

3)  不擅长开启与维持话题，怕生 & 不敢主动reach out。楼主目前就是个不看美剧不看体育不听Spotify、只看Ted看WSJ看Seeking Alpha且重度沉迷游戏的死宅。聊天时除非对方对经济和投资感兴趣, 不然就是不知道如何跟同事保持话题。而且经济类话题容易把气氛搞严肃。


然后对于上述痛点，楼主目前想到了如下的学习计划，但不知道是否能真地解决自己的问题，或者有没有更好的方案。恳求各位大大提点 & 狠批：

1)  编程基础薄弱 -> 深入学习Python  &  初学系统设计?
https://coding.imooc.com/class/200.html
https://www.jiuzhang.com/course/2/

2)  数据处理相关知识匮乏 -> 备考Google Cloud Platform Data Engineer Certificate?
https://www.coursera.org/special ... ta-machine-learning
关于云计算平台的选择，楼主其实更看好AWS与其相关Certificate，但在网上搜了半天没找到合适的教程。倒是Google Cloud在Coursera上发布上述系列，感觉更适合自己入门，且由于经常使用Colab和TensorFlow, 在数据处理方面感觉GCP比较亲切。如果大家有好的AWS教程，也非常欢迎推荐。
3) 不擅长开启与维持话题，怕生 & 不敢主动reach out -> 不知道如何提升，把Steam卸载了好像也没什么用（所以又装回来了 ）。可能多看看剧听听Spotify可以增加自己的话题广度？求各种赐教！

最后再次感谢您看完本帖，祝事业蒸蒸日上，学业科科满绩!

haobotao000 发表于 2018-10-26 01:52
求问data engineer是个什么岗

嗯这是一个很好的问题，我其实也不太清楚。Data Engineer是一个新名词，每个公司的职责差别很大，感觉很难一概而论。我可以谈下我对FB Data Engineer的看法，虽然也不一定对。

FB Data Engineer 感觉可以理解为 "the Internal Tech Consultant with Data Architect Focus"，主要工作为数据类产品的可行性评估、数据采集与处理、数据管道的搭建、以及数据可视化等。

我听到的一个形象说法是，PM, DS, DE, SWE要一起盖一栋叫用户行为分析的楼，PM是包工头，DS是设计师，DE是建筑师，SWE是土木工程师。甲乙关系是：PM -> DS -> DE -> SWE (当然不绝对）。

包括我在内，很多人都会问DS和SWE为什么不直接沟通，还要夹一个DE。我的理解是DE作为一个Consultant，起到一个审稿人和局部流程优化的作用，也一般只有大企业/大项目会需要。

DE本身作为"中台", 前景不太好说。但因为频繁跟DS和SWE对接，信息面会更广（当然还是取决于组/项目）。如果个人比较努力的话，进可往前台转DS/PM， 退可往后台转SWE。我认识的一个DE学长最近就跳槽回国，到一家 AI Startup 担任 product director了。

最后附上暑假时的老板在他 LinkedIn profile 里的工作自述：
[color=rgba(0, 0, 0, 0.9)]- Every day I am embedded in a product team and works closely with XFN partners.
[color=rgba(0, 0, 0, 0.9)]- First, I understand what the product is, how it works, and what changes are on the roadmap.
[color=rgba(0, 0, 0, 0.9)]- I then work with SWEs ensure the quality of the raw logging data.
[color=rgba(0, 0, 0, 0.9)]- After designing a data model that supports the analytical needs, I architect a solution that automates the ETL of all raw data into one location and the running of optimized SQL queries to populate the tables.
[color=rgba(0, 0, 0, 0.9)]- Some datasets are ingested in production for our ML models, while summary datasets power topline and deep-dive dashboards for instant visibility into the performance among different cuts.
[color=rgba(0, 0, 0, 0.9)]- My data powers the experimentation framework for quick iteration using a data-driven, A/B testing approach.
[color=rgba(0, 0, 0, 0.9)]- Data quality is a top priority, so I use a mix of manual & automated checks for anomaly detection.


补充内容 (2018-10-26 03:48):
linkedIn复制黏贴会自己加前缀啊...大家忽略就好

tomchen29 发表于 2020-5-12 07:35
有身边的同事说Udacity Data Engineer Nano Degree里的项目还不错。我没试过，而且感觉课程有点贵...可能 ...

谢谢lz，刚看了FB DE的JD里面好多条都要求4+年的工作经验，转行的人表示太吓人了，这个要都符合吗还是说entry level的人也可以投？以下copy自LinkedIn.

“Minimum Qualification
BS/BA in Technical Field, Computer Science or Mathematics.
4+ years experience in the data warehouse space.
4+ years experience in custom ETL design, implementation and maintenance.
4+ years experience working with either a Map Reduce or an MPP system.
4+ years experience with schema design and dimensional data modeling.
4+ years experience in writing SQL statements”

求问data engineer是个什么岗

关注！！楼主写的不错！

tomchen29 发表于 2018-10-26 03:47
嗯这是一个很好的问题，我其实也不太清楚。Data Engineer是一个新名词，每个公司的职责差别很大，感觉很 ...

A/B testing approach 可以说下那个组是怎么做的吗？

ygmm 发表于 2018-10-26 14:37
A/B testing approach 可以说下那个组是怎么做的吗？

我实习时的项目跟A/B Testing无关，所以对这块完全没有接触。未来可能有机会了解

楼主写的非常好！ 给楼主加米了哈

我没有在Facebook工作过，但以我浅薄的经历来说，下班后约同事去酒吧喝两杯是最好的方法。也不用太担心没话题的问题，毕竟这也是属于个人爱好。当然，体育是心灵之窗嘛。如果你在纽约，一定要说自己支持爱国者和凯尔特人。然后他们就会和你argue，你们不就有话题了？😄

ygmm 发表于 2018/10/26 14:37:08


A/B testing approach 可以说下那个组是怎么做的吗？

depends on你的活和组，一般sde，ds，de等等都会做。我也是de，就会做ab testing……我们同组的也有de一点ab testing也不做的……

ianhezy 发表于 2018-10-28 09:41
depends on你的活和组，一般sde，ds，de等等都会做。我也是de，就会做ab testing……我们同组的也有de一 ...

我没做过abtesting，请问你平时是怎么做的呢

yuanshuaicool 发表于 2018-10-28 04:56
楼主写的非常好！ 给楼主加米了哈

我没有在Facebook工作过，但以我浅薄的经历来说，下班后约同事去酒吧 ...

wow 感谢层主！我其实还没去过酒吧，未来有机会一定要尝试一下！篮球方面能建议下在湾区应该“支持“哪支队吗? 我业余打乒乓，没怎么关注篮球