赛博土木LLM Inference Role面试总结

多谢lz分享 想问下lz是比较偏 research 还是 kernel 体感工作机会多吗

匿名用户 发表于 2026-09-06 15:33:50
多谢lz分享 想问下lz是比较偏 research 还是 kernel 体感工作机会多吗

一般LLM inference 粗略分成三层。
最上面是 serving，主要做 orchestration、request routing、scheduling、capacity management 这些，可以参考一些现在的 llm.d AIBrix 项目。

中间是 inference engine，就是跑在每个 compute node 上，负责真正把 model 高效地跑起来。像 batching、KV cache、prefill/decode、各种 memory / performance optimization 都会在这一层。

再往下就是 compiler / kernel。这两个通常联系也比较紧，会更接近 hardware。

我觉得这三层现在工作机会其实都很多，不是说 LLM inference 就主要偏 research 或者 kernel。看自己的背景和兴趣选就行。传统 distributed system / infra 背景可能比较容易从上面两层切进去；如果本身 compiler / GPU / hardware 背景比较强，那下面也有很多机会。

请问做inference推荐大厂还是那三家呢？baseten,fireworks, together？似乎base都不是很高而且不太稳定，不知道性价比是否够高，是否要冒风险去面这三家增加inference经验

目前是窗口期吗，楼主觉得这波招完之后后面是不是岗位很少了

匿名用户 发表于 2026-09-06 16:04:05
. 1point 3 acres请问做inference推荐大厂还是那三家呢？baseten,fireworks, together？似乎base都不是很高而且不太稳定，不知道性价比是否够高，

这个需要看个人情况了，很难有个统一标准。从学东西的角度，这几个公司都很好。

Mr_jia 发表于 2026-09-06 16:22:18
目前是窗口期吗，楼主觉得这波招完之后后面是不是岗位很少了

我感觉这是趋势，有inference经验之后可以做的东西还很多，post training, agent/harness co optimization等等

匿名用户 发表于 2026-09-06 16:42:09
我感觉这是趋势，有inference经验之后可以做的东西还很多，post training, agent/harness co optimization等等

后面这些都是搞agent 的人方便做的吧。

匿名用户 发表于 2026-09-06 16:55:48
后面这些都是搞agent 的人方便做的吧。

交叉的地方都可以做吧，像post training loop里inference要管整个RL rollout和precision alignment

你这种是拉docker image的 岗位吧。。。。

我全都是纯聊天  相互套idea

微信用户_a74b39d 发表于 2026-09-06 17:34:44
你这种是拉docker image的 岗位吧。。。。

我全都是纯聊天  相互套idea

老哥面了哪些 有offer了吗