赛博土木LLM Inference Role面试总结

匿名用户 发表于 2026-9-6 20:36
老哥面了哪些 有offer了吗

美国去一个pre a轮了      后面不想面了

微信用户_a74b39d 发表于 2026-09-06 17:43:21
美国去一个pre a轮了      后面不想面了

包裹咋样 只聊天吗

微信用户_a74b39d 发表于 2026-09-06 17:34:44
你这种是拉docker image的 岗位吧。。。。

我全都是纯聊天  相互套idea

没懂

什么叫"赛博土木" ？

匿名用户 发表于 2026-9-6 17:52
没懂

拉vllm的image么

如果只有做ranking model的inference经验的话，去面llm inference会不会比较难啊

匿名用户 发表于 2026-09-06 18:03:14
如果只有做ranking model的inference经验的话，去面llm inference会不会比较难啊

肯定不太一样的 得补相关经验 楼主在另外一个地方详细讲了

匿名用户 发表于 2026-9-6 20:52
没懂

最典型的就是某家想拿h200 跑kimi k3 nvfp4   然后问我怎么自己整w4a8   

再往前就是怎么cosmos 3 量化 然后接trtllm 柠在小车里面

感谢楼主分享干货! 想请教楼主，如果之前是做 LLM 跟ML产品层，熟悉到pytorch 搭model from scratch这一层，跟gpt一起自学完了CS336的相关课程，但没有更深ml sys背景和实操经验，转inference难度多大呢？从面试跟胜任实际工作来看。 现在有了ai agent帮写code和具体实现，是否理解原理这一层比写code更重要，以及楼主觉得哪些会有更长久的career发展，不会被ai取代。
另外想问问楼主，您面过Meta相关岗位吗？感觉 infra在Meta属于干脏活累活，没有话语权，经常direction转向和reorg，MSL也工作强度巨大，看到好多内部说burn out以及非常多大牛跳去御两家，感觉已经senior的话从产品岗内部转过去也不算好的职业发展路径

匿名用户 发表于 2026-09-06 18:36:05
感谢楼主分享干货! 想请教楼主，如果之前是做 LLM 跟ML产品层，熟悉到pytorch 搭model from scratch这一层，跟gpt一起自学完了CS

我觉得你这种情况其实基础已经挺够了。CS336也学过，也能自己从 PyTorch 这一层搭 model，我反而觉得不用一直等到“准备好了”再去面。

可以直接找一两家 startup 的 inference role 试一下。真的面过之后，你会很快知道自己现在的 gap 到底在哪里。很多时候缺的可能不是知识，而是实际做 inference 的 hands-on experience。

当然最好还是能找机会真正做一些项目，不管是公司内部转组，还是开源，能做进去肯定最好。但如果暂时没有这个机会，我觉得也不妨先去面一两家找找感觉。面试本身其实也是一个很好的 feedback，可能比自己再闷头准备几个月更容易知道下一步该补什么。

至于 AI 写 code 这个，我觉得理解原理还是很重要的。AI 可以帮你写 implementation，但你至少得知道它写得对不对、为什么这么写、performance bottleneck 在哪，不然做 inference optimization 还是会比较难。

Meta 这块我不太了解，就不乱评价了 😂