[ai infra] AI infra写算子2026还有前途吗？

感觉这一行好难，各种GPU硬件迭代的又快， 新的DSL层出不穷，各路大神也好多，人才密度极高，卷的不行。而且2026了，感觉AI也越来越强了，不知道古法手搓写算子还能坚持多久，还有没有前途啊？

之前是做传统infra的老兵，蹭着AI的大潮转过来的，现在感觉好迷茫啊。。。 听说出去面试也是各种bar高到天际，面试手搓CUDA， flashattention之类的。
. 1point3acres
现在感觉这个领域又窄又深，之前多年传统infra经验完全发挥不出来，现在认真在想要不要转去推理infra，或者回传统infra，求地里大佬们给点建议。。。

小亩_fdc12e0 发表于 2026-7-27 13:48
不懂哇。可不可以展开来说，除了算子都有啥。

理解不了这个事情的难点在哪里。

蛤竟然有人觉得ai infra不难。。。

首先分training和inference吧，这两个track已经是不同的世界了。
其次manage大规模的gpu集群有很多domain knowledge+经验是没做过的人从教材上学不到的。
再往下还有 training/inference engine、memory management、NCCL、scheduling、容错等等，算子只是一个领域而已。
而且现在流行co-design，所以要求modeling也要懂，从一开始就要考虑到efficiency。

就这些也只是冰山一角。

算子只是ai infra里面很少的一部分啊，这整个eco system都要懂

个人看法是如果将来开放模型的水平能够长期追上几个大佬公司，那inference这块的市场可能是最大的，很多公司都会自己开部门做私有的模型部署，云计算也会产生新的inference产品。

lz现在在哪个厂？如果厂不错的话，可以内部转？

这就是围城，还在传统infra的羡慕还来不及
需求都是AI infra给的，不然只能做dev ops，被淘汰的更快

算子只是工具吧 没写过的 几周就上手了 眼界要打开

真的是围城啊，我做梦都想转AI infra

匿名用户 发表于 2026-7-27 14:29
真的是围城啊，我做梦都想转AI infra

我也是，虽然自己做tlm的，但是还想着转。

我本来也是想从软件转类似方向，自从去年看到AI编程的水平，我就放弃了，
打算就在目前的领域，用AI把自己领域扩展到极致，直到被裁掉为止，就和软件行业告别。

icyyy 发表于 2026-7-27 11:57
算子只是ai infra里面很少的一部分啊，这整个eco system都要懂

不懂哇。可不可以展开来说，除了算子都有啥。

理解不了这个事情的难点在哪里。

我的理解：古法手搓算子的性能优化，load balancing for reference。不在这一行，实在想象不出来。