求助：AI infra这条路该怎么走？

关注一下

求助，做产品的老eng想转ai infra从哪开始做起

肯定是agent啊大哥 ai infra迟早被商品和框架/工具化 类似k8s
agent未来应用落地才是遍地开花机会最多 （infra护城河更高？但是机会少一个量级）

我觉得吧。干啥都没有意义。
历史上看，大热必死。
金融，油工，马公，AI。
这些两天写开源，用claude.
重写一个json 库。
对着orjson对比。
Claude 抓出了orjson 10多bug.
这是业界有名的大家都用的东西啊。
人类编程是完了。

所以做什么是没有护城河的，只有到了别人连问题方向都提不出来的领域才是真的安全的。

hnhhhhhhsnhdhng 发表于 2026-9-26 07:00
肯定是agent啊大哥 ai infra迟早被商品和框架/工具化 类似k8s
agent未来应用落地才是遍地开花机会最多 （i ...

我不认为agent有很多坑。
基本上就是搭好 环境， done。

什么memroy, eval ,这个那个的，都是假的。

核心还是计算。

我个人有些感觉，原本公司里做 Infra 的，也就是管理 K8S 集群以及本地服务器集群的这批人。放在前 AI 时代感觉在公司里没有那么多存在感。我作为 Dev，有需要的时候会通过公司内的流程问他们要计算资源，把我的服务部署上去供公司使用。他们经常跟我打交道的点更多是为什么你的服务又占了这么多服务器资源等等，让我觉得他们和业务离得很远。很多内容似乎不那么有含金量（完全是个人主观判断，请各位轻喷）。

AI 时代之后，类似的技术栈可以转移至如何部署本地 AI 集群，变得有价值了非常非常多。公司买了英伟达的 GPU 之后。如何一步一步让它跑在公司内部的机房。让它能 serve 开源模型，如何配置大模型提高吞吐等等，都依赖这一批人实现。某种意义上，公司对这一类 Infra 的重视程度绝不低于做 AI 的应用。可能说明 AI 本身，从部署到应用都是业务核心了。

同时现在 AI Infra 这个词总感觉语义比较宽泛。除了应用开发和训练研究本身好像都可以归纳到 AI Infra 这个大框里，不知道别的公司定义里的 AI Infra 的职责包含到什么程度。我们公司内部的职责分配感觉管显卡集群以及模型偏底层的调整，类似一部分VLLM的活。

同感，想转AI Infra. 但是其实AI也能做的，好像也没啥护城河，除非找AI还不能做的。纠结

hnhhhhhhsnhdhng 发表于 2026-9-26 04:00
肯定是agent啊大哥 ai infra迟早被商品和框架/工具化 类似k8s
agent未来应用落地才是遍地开花机会最多 （i ...

我也是agent和infra纠结，但是看了一下agent感觉没多少要学除非要学domain knowledge. 感觉很快就学完了。。。

大家都在看吧，谁能看那么远呢？

这行和普通后端有什么区别？我感觉还是分布式系统那一套，有一些小众技术活比如写算子cuda，但ai也能做，好像并没有什么稀缺性。