英伟达LLM框架岗过经。新人求大米！

岗位基本是LLM的框架端。先和HM聊了一下，他们在看模型和框架都了解的，不过重点考察还是框架端。HM面聊了一个关于二阶导数在GPU上参数相关的问题，讨论为主。

然后安排了tech screen：两道题，一个是力扣散肆姨。第二问问了Column Parallel和Row Parallel Linear Layer的实现和pros & cons，写了一少部分伪代码。和Megatron的内容差不多。

然后发了个assignment，给了个框架提取neural net的graph representation。要求from scratch实现神经网络的gradient计算，网络包括的operators不特

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

绊绊。

第五轮：（面到这脑子已经快不转了）面试官是很高级别的IC。问了经历（这几面唯一一个问我经历的），然后C++语言相关内容，然后让用C++写了道题（题目不记得了但不难）。

感觉总体来讲给的定位是框架端偏前端的内容，还是python为主，会有模型端和后端的exposure应该是。面完几天收到offer。

差不多这些。新人求大米！

很想知道LZ你现在的工作背景是什么样的？
这个面试的内容很广但是专业性也很强（不是刷题就可以准备出来的）LZ是怎么积累这方面的知识的？

匿名用户 发表于 2023-9-20 11:01
听着好难啊，是llm mlops platform吗

是框架的岗位。team里是负责PyTorch和Jax相关的内容，支持LLM和做一些feature之类的。分前后端，我这边给的是前端岗位。

匿名用户 发表于 2023-09-20 01:57:34
请问楼主是视频面试吗？

是的，远程视频面

请问楼主是视频面试吗？

恭喜楼主，请问onsite后多久拿到的offer？

匿名用户 发表于 2023-09-20 07:44:15
恭喜楼主，请问onsite后多久拿到的offer？

记得是3天左右不算周末这样子。

听着好难啊，是llm mlops platform吗

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

Roberty 发表于 2023-9-20 15:59
我毕业之后在初创，公司业务很类似，自研芯片+底层+模型这种。我的team是做模型算法端，不过工作时有时会 ...

赞。想问问LZ是平时是怎么学习这方面的内容的呢？
看论文？或者研究框架代码吗？
做模型端能够对这部分内容有这个程度的了解真的很厉害