做存储infra的想转AI Infra容易么

donnice 发表于 2023-2-26 18:35
AI infra的关键在于其中的transferrable技能很多，而且很难得的要真正面对高并发分布式系统的开发和维护。 ...

做core infra的比如底层database和storage，也就是大厂有这种可以深耕的组和需求，这类往深了做最终都是各种optimization，技术是很硬核但对其他地方来说就是屠龙之技，不过这类人也可以跳去很多地方的platform组，就是根据应用场景选择不同的底层infra作为building block来设计架构和解决问题，出路也不少的

匿名用户 发表于 2023-02-26 18:54:34
做core infra的比如底层database和storage，也就是大厂有这种可以深耕的组和需求，这类往深了做最终都是各种optimization，技术是很硬核但对其他地方来说就是屠龙之技，不过这

是的，但很明显如果这类人要能做到自由跳槽去搞Platform的话，需要对storage相关的屠龙之术真的研究得非常非常深，在成型前要耐住寂寞，基本属于大器晚成型的。而绝大部分普通人都淹没在ops burden中，最终累么累的要命，走也走不得

donnice 发表于 2023-02-26 18:35:54
AI infra的关键在于其中的transferrable技能很多，而且很难得的要真正面对高并发分布式系统的开发和维护。这个方向出来的人将来跳去做data pipeline，做MLE，做普通的全栈开发

这些transferable skill, 目前做core infra 的也都需要，也可以说是现在有很多infra的人很容易转ai  

Ai 特有的主要是gpu programming and 初等的微积分

serelee 发表于 2023-02-26 18:04:23
大部分公司都不会搞ai infra ,这个成本太大了，只有互联网大厂才玩得起。
顶多用下云上的服务，或者用anyscale 这种。

您好 想问一下业界能做到类似anyscale这样的竞品多么 也就是想问 随着未来ai需求进一步增加 您觉得看好anyscale么

我现在做storage的kernel space，以前也写过cuda，做过query engine。我觉得在core infra里面横跳不是很难。整个infra在内功上都差不多，async programming，high availability，resiliency还有consistency。
翻来覆去就是这些，只不过实现上略微不同罢了。storage的特点就是和硬件关系比较大，现在学了好多硬件知识，这部分以后要是不做了可能确实是没用了。

serelee 发表于 2023-2-26 22:43
这些transferable skill, 目前做core infra 的也都需要，也可以说是现在有很多infra的人很容易转ai  

Ai  ...

AI用到的GPU其实和虚拟/游戏引擎的不能比，数值计算也比金融/工业/科学软件差远了

匿名用户 发表于 2023-2-26 20:48
我现在做storage的kernel space，以前也写过cuda，做过query engine。我觉得在core infra里面横跳不是很难 ...

楼上说的挺对的。core infra oncall is heavy. 这个年龄大了估计不容易干了。一周如果半夜起来三四次，年龄大了身体不容易。

我觉得经济好了之后，也可以考虑去offline的领域，比如传统数据库、企业软件等，写些feature, business logic也可以干吧。

ai infra和core infra一样分类挺细的，其中一部分和data engineering重合（所以很多big data可以号称ai first），但是compute的部分和big data的compute很不同。
ai infra training不强调fault tolerance，基本不需要on call，即使training有问题，解决之后从上一个checkpoint开始就可以了。inference更强调latency和numerics，同样不需要on call。
core infra/storage/big data则与之不同，丢data是天大的事，所以才会有那么紧急的on call。还有很多security方面的问题，个人很不喜欢。
从skill set上讲，ai infra最有价值和积累经验的地方往往和compiler和architecture相关，这东西没法速成。思考怎么做比做本身更耗时间，所以工作时间很灵活。一般用pyton和c++，从来不用java和scala。

就个人而言，ai infra的职业发展更好点。ai模型的爆发和普及也意味着普通公司也需要为模型做硬件的适配，离公司的business也更近。

转角遇见猫 发表于 2023-2-27 09:55
ai infra和core infra一样分类挺细的，其中一部分和data engineering重合（所以很多big data可以号称ai fir ...

很有用，学习了。请问你怎么看core infra的发展？基本上oncall is heavy吧。这个不太可能一直干下去。

转角遇见猫 发表于 2023-02-27 09:55:42
ai infra和core infra一样分类挺细的，其中一部分和data engineering重合（所以很多big data可以号称ai first），但是compute的部分和big data的

不是很同意compiler这部分，我觉得职业角度来说，只有少数大公司的部分团队在做这个，compiler对于AI来说跟对于其他infra来说区别不大，都是旱的旱死，涝的涝死，转行去做compiler要成为顶尖专家太难