做存储infra的想转AI Infra容易么

楼主做的是存储相关的infra，最近受到chatgpt影响对AI infra有些向往。目前领域里有比较丰富的经验，想向群里的朋友问问转AI infra的是否值得，是否有更好的前景

你都在系统这棵常青树上了，为啥还想着去更卷而且时效性更强的上层应用...不知道有个说法叫甭管微软赢还是谷歌赢，英伟达永远不输吗

匿名用户 发表于 2023-02-25 23:33:24
我做computing infra的，所以听起来我这种背景比较适合转AI infra？不过我完全不懂chatgpt infra的技术难点，比如training对GPU要求很高，所以需要hpc？
. .и
请前

Training infra的终极目标就是最大化gpu的利用率，实现这个目标的最大阻碍就是串行和并行之间产生的bubble，各种communication带来的overhead，以及随机的硬件错误。这些问题随着模型的变大会越来越严重，也是llm training infra最大的难点。

EricSam413 发表于 2023-02-25 19:58:48
你都在系统这棵常青树上了，为啥还想着去更卷而且时效性更强的上层应用...不知道有个说法叫甭管微软赢还是谷歌赢，英伟达永远不输吗

英伟达不输不代表英伟达的工程师能过得爽，不然全世界最富有的应该是农民

言归正传，做core infra的跳槽选择面其实挺窄的，只能选择云厂或者大公司的core infra组，而且不管到哪里都免不了面临非常heavy的oncall压力

如果已经是staff+(了解了storage各个layer，例如data plane的paxos replication, multi snapshot; file system, optimize with NVMe; block storage virtualization pipeline, Linux block layer)，不值得；chatgpt, AI Infra这些归根到底会要求更加scalable and performant的storage infra.

chatgpt的infra的主要问题都是hpc范畴内的，和存储关系不大。

hpc相关的那种...
比如多卡parallel, AWS上面的那种EFA lower latency啥的....

有挺大概率变成k8s guru（苦笑)

iunknown 发表于 2023-2-25 19:45
如果已经是staff+(了解了storage各个layer，例如data plane的paxos replication, multi snapshot; file sys ...

. 1point3acres现在做storage infra有什么工作呢？三大云之外，startup没有什么自己的storage吧。

同问。我做cloud infra的也想转AI infra

匿名用户 发表于 2023-02-25 20:09:15
chatgpt的infra的主要问题都是hpc范畴内的，和存储关系不大。

我做computing infra的，所以听起来我这种背景比较适合转AI infra？不过我完全不懂chatgpt infra的技术难点，比如training对GPU要求很高，所以需要hpc？

请前辈多指点！

AI Infra 范畴太大，要看转去做哪一块儿