英伟达LLM框架岗过经。新人求大米！

岗位基本是LLM的框架端。先和HM聊了一下，他们在看模型和框架都了解的，不过重点考察还是框架端。HM面聊了一个关于二阶导数在GPU上参数相关的问题，讨论为主。

然后安排了tech screen：两道题，一个是力扣散肆姨。第二问问了Column Parallel和Row Parallel Linear Layer的实现和pros & cons，写了一少部分伪代码。和Megatron的内容差不多。

然后发了个assignment，给了个框架提取neural net的graph representation。要求from scratch实现神经网络的gradient计算，网络包括的operators不特别复杂，给了72小时。还给了些bonus选项，比如实现constant folding啥的（我觉得复杂没做）。

交上去之后几天安排了onsite，5轮同一天，back2back ;(

第一轮：给了一个colab notebook，一部分写好的code，要求实现之前assignment给的graph tracing功能，比assignment简单。浅问了pytorch和jax一些backprop有关的问题。

第二轮：开始是ML相关八股，L1/L2，dropout，overfitting啥的。之后问了BERT相关的内容比如是啥，怎么训练，怎么做doc embedding；然后接着问双塔做doc retrieval的内容，如何训练，loss，inference之类的；Follow-up问了有啥别的思路，比较开放的问题，我提了contrastive

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式

绊绊。

第五轮：（面到这脑子已经快不转了）面试官是很高级别的IC。问了经历（这几面唯一一个问我经历的），然后C++语言相关内容，然后让用C++写了道题（题目不记得了但不难）。

感觉总体来讲给的定位是框架端偏前端的内容，还是python为主，会有模型端和后端的exposure应该是。面完几天收到offer。

差不多这些。新人求大米！

很想知道LZ你现在的工作背景是什么样的？
这个面试的内容很广但是专业性也很强（不是刷题就可以准备出来的）LZ是怎么积累这方面的知识的？

dayeye2006 发表于 2023-9-20 10:47
很想知道LZ你现在的工作背景是什么样的？
这个面试的内容很广但是专业性也很强（不是刷题就可以准备出来的 ...

我毕业之后在初创，公司业务很类似，自研芯片+底层+模型这种。我的team是做模型算法端，不过工作时有时会和框架端去合作，慢慢有意识去留意学一些东西，不过都是停留在框架前端这种（后端很多东西感觉目前对我难度略大，而且精力确实有限）。将来其实想慢慢去发展Modeling+底层Eng（框架，kernel，DL compiler）相关的能力。
这次面试运气也很不错，有一些问题尤其backprop那边之前在公司和别的team接触时搞过。还有就是他们也想找有模型端经验的人去加入团队，算是恰巧匹配上了那种。

Roberty 发表于 2023-9-20 15:59
我毕业之后在初创，公司业务很类似，自研芯片+底层+模型这种。我的team是做模型算法端，不过工作时有时会 ...

赞。想问问LZ是平时是怎么学习这方面的内容的呢？
看论文？或者研究框架代码吗？
做模型端能够对这部分内容有这个程度的了解真的很厉害

请问楼主是视频面试吗？

恭喜楼主，请问onsite后多久拿到的offer？

匿名用户 发表于 2023-09-20 01:57:34
请问楼主是视频面试吗？

是的，远程视频面

匿名用户 发表于 2023-09-20 07:44:15
恭喜楼主，请问onsite后多久拿到的offer？

记得是3天左右不算周末这样子。

听着好难啊，是llm mlops platform吗

匿名用户 发表于 2023-9-20 11:01
听着好难啊，是llm mlops platform吗

是框架的岗位。team里是负责PyTorch和Jax相关的内容，支持LLM和做一些feature之类的。分前后端，我这边给的是前端岗位。