cloud领域职业方向求助

我一直在cloud infra/computing infra的领域，说白了就是公司内部计算资源调度的自动化 + 优化。目前cloud native遍地都是，啥啥都要上cloud, 比如data analytics cloud (snowflake/databrics), 再比如AI/ML cloud。

那么如果要在这个领域深耕，是否应该钻研某个小方向？比如data analytics cloud或者 AI cloud/ML infra？尤其最近openai这么火，感觉把cloud和AI/ML结合会是很有前景的领域，比如anyscale, scale ai这类公司也比较火热。但问题是，这样会不会越走越窄？如果继续做general computing/cloud infra感觉机会到处都是。

期待大牛指点。

赞同楼上，建议Data Infra / Compute Engine, Data Infra 比如Message Queue / Cache / DB 背后很多问题都是共通的，需求很大。 Compute Framework 比如Spark跟AI靠的会很近
Network之类的就算了，没什么新东西而且需求不大，唯一新颖的SDN到现在也没怎么商业化

支持往某个小方向专精，这是往L6乃至更高走的必经之路

但最好是一个不太冷门的方向，比如data infra，AIML cloud等等，其次compute/storage/network/identity等有点窄但还有点需求的方向，最差的就是诸如自动驾驶/科学计算/EDA等非常专精的industry cloud方向，进去了就出不来了

匿名用户 发表于 2023-2-18 20:20
谢谢。我理解里data infra完全是另外一个领域，比如kafka这种。你的意思是data infra的技术难点也包括comp ...

是的，比如confluent 做的就是kafka -> cloud

先把单机上的搞清楚就不错，怎么debug，怎么改进。然后搞清infrastructure，画个图，做个presentation，指出哪些地方可以改进，就差不多了。

匿名用户 发表于 2023-02-18 17:12:21
先把单机上的搞清楚就不错，怎么debug，怎么改进。然后搞清infrastructure，画个图，做个presentation，指出哪些地方可以改进，就差不多了。

谢谢你。不过没懂你这个回答和我的问题的关联。我是问职业发展的大方向，是否应该深入cloud某个小领域比如AI cloud/ML infra

匿名用户 发表于 2023-02-18 18:38:53
赞同楼上，建议Data Infra / Compute Engine, Data Infra 比如Message Queue / Cache / DB 背后很多问题都是共通的，需求很大。 Comput

能举例子么，大佬？data infra 是指spark以及建立pipeline么

匿名用户 发表于 2023-2-18 18:06
谢谢你。不过没懂你这个回答和我的问题的关联。我是问职业发展的大方向，是否应该深入cloud某个小领域比如 ...

这是需要的，cloud太广了，点进AWS随便拿出来一个service做到后面需要很深的domain knowledge
总的来说往data infra靠比较靠谱，domain knowledge 不管去做ML Infra / DB 还是传统的Big data (Spark 那一套) 都是transferable的

halaheyjsplsdr 发表于 2023-2-18 18:42
能举例子么，大佬？data infra 是指spark以及建立pipeline么

如果单纯的去调用Spark API建data pipeline其实更偏data engineer一些
我更多的是指去contribute Spark本身，比如给Spark开发新的feature/api或者根据不同场景优化Spark性能，类似Databricks正在做的

匿名用户 发表于 2023-02-18 18:38:53
赞同楼上，建议Data Infra / Compute Engine, Data Infra 比如Message Queue / Cache / DB 背后很多问题都是共通的，需求很大。 Comput

谢谢。我理解里data infra完全是另外一个领域，比如kafka这种。你的意思是data infra的技术难点也包括computing resource？就是data infra现在都要move to cloud？

AI cloud 是指什么