赛博土木LLM Inference Role面试总结

匿名用户 发表于 2026-9-6 21:02
拉vllm的image么

对 就不用改源码 决定vllm/sglang走向的

纯拉image的  和  改源码猛攻的  可能薪水差不多

感觉现在inference的实战经验不容易积累啊 内部转组没有啥机会 然后开源项目早就人满为患了很难有机会参与进行 更别说做核心的feature了

请问楼主，我yoe 已经15+了。之前主要是做 bigdata analytic + ML 的一些系统。不是科班出身的MLE，八股那些不太会。
一直做big data analytic + model training，efficacy evaluation 主要是安全detection 方面的。Transformer火之前，2017年做过基于LSTM的 NN 的 model training，从数据生成 几百G，到label 到 train NN model，然后 evaluate efficacy 做了end to end 一套东西，基于TensorFlow 做的，全是自己学习和摸索。当然借助了公司提供的资源和AWS上的GPU。当时感觉学到了很多。

后来主要还是以业务为主，做bigdata analytic + ML 的一些系统。这种情况下，还建议转inference么？失业有段时间了，想着哪怕不给钱，能提供学习和锻炼的机会，进入到这里面也行啊。

看网上有人在新加坡那边 给Vllm fix bug，提issue，后来也转行成功了，但感觉这个越来越难了。

匿名用户 发表于 2026-09-06 17:19:56
交叉的地方都可以做吧，像post training loop里inference要管整个RL rollout和precision alignment

大一点的startup这方面分的蛮清的，inference就是纯serving，后训练是单独那部门

匿名用户 发表于 2026-9-6 18:03
. check 1point3acres for more.如果只有做ranking model的inference经验的话，去面llm inference会不会比较难啊

我做了很多年ranking model inference，最近也面了一些LLM inference的岗。

我的感觉是，如果不是很senior的role，ranking model inference的经验是有很大帮助的。太senior的role，对面就会希望你有真的LLM inference的经验。

我还面到过一些比较新的东西。这个时候CS336的内容就不太够了。

实际内容的话，ranking model inference的复杂度还是要低很多。ranking model 就像是一个只有prefill没有decode的LLM系统，而且模型还没大到一张卡塞不下的程度。LLM inference里60%+的技巧，ranking是不需要的。所以资深岗位还是得有实际的LLM经验才行。

阿威 发表于 2026-09-06 20:52:00
大一点的startup这方面分的蛮清的，inference就是纯serving，后训练是单独那部门

是的，这种情况下有inference背景想要转过去也算有个敲门砖吧

微信用户_a74b39d 发表于 2026-09-06 17:43:21
美国去一个pre a轮了      后面不想面了

inferact吗？

lelejill 发表于 2026-09-06 20:44:08
请问楼主，我yoe 已经15+了。之前主要是做 bigdata analytic + ML 的一些系统。不是科班出身的MLE，八股那些不太会。
一直做big

你可以先上cs336看看自己有多少兴趣和commitment

楼主说的真是非常专业，让我在 inference 行当上班的都叹为观止

问下楼主，如果不是Infra背景，只是普通全栈，只做过Agent/应用AI产品的项目，容易换赛道转Inference或是靠近模型相关的领域吗？如果可以，该怎么转赛道最合适？