genai/LLM 工作or面试 经验交流（OpenAI，xAI，Anthropic，Deepmind， Cohere，等）

感觉地里边和Genenrative AI相关的技术话题和面经不是很多，楼主从事LLM相关的工作，最近也面试了一些相关岗位，想问下地里大伙有没有想交换下下相关面经或者工作经验的。


楼主面过的：OpenAI（RS/RE)， xAI，Anthropic（RS），Character.ai（RE），Cohere（MTS），Midjourney (RS), Deepmind（RE），Nvidia （RS & RE），Apple（RE）。
楼主没拿到的：Inflection.ai, Adept, Meta-AI, Stability, Amazon, Huggingface, Microsoft


楼主主要经验是LLM的预训练算法端和框架端，对RL，多模态相关有一些了解，对于更底层方面（kernel，compiler）不太了解。对于算法端各种（stable diffusion，多模态，RLHF）以及其他DL相关的research/eng都感兴趣。


可以po到下面或者私聊。有很多面经不方便发出来，敬请谅解。

yyds1995 发表于 2023-9-27 23:55
求问楼主mle想转到llm相关方向要怎么充实相关经历呀？感觉预训练对硬件要求太高没办法靠自己积累实操经验。

楼主个人经验属于比较幸运的，在LLM火之前误打误撞入的坑。个人感觉转的话是否可以从应用端，微调或者工程端入手。

应用端有些比如做chatbot服务器/应用的岗位。
微调比如SFT或者RLHF，对计算要求小。
工程端比如LLM分布式框架，如果有相关exposure可以尝试compiler或者cuda入坑？

个人看法，希望有帮助。

我去，做预训练的？lz是某位大拿么？这个星球上也没几个做预训练的，毕竟资源需求摆在那里，大厂做预训练的也就那几个人

能拿这么多offer已经很棒了 lz还准备继续面吗
我之前发过一个 https://www.1point3acres.com/bbs ... ;page=1#pid18620878

求问楼主mle想转到llm相关方向要怎么充实相关经历呀？感觉预训练对硬件要求太高没办法靠自己积累实操经验。

不去openai吗

有什么推荐的ml infra/system相关的职位和公司(startup)吗非model类

AlphaOne 发表于 2023-9-28 00:19
不去openai吗

不好意思，可能发的有歧义，楼主面了这些公司，并不是全部走完流程拿到offer。底下是没有拿到的面试。

zyoppy008 发表于 2023-9-28 00:24
有什么推荐的ml infra/system相关的职位和公司(startup)吗非model类

这个纯ML Sys了解的确实不多，楼主知道李沐大神最近创业了 https://bosontech.ai 好像偏重ML Sys。新加坡有一家Colossal AI也是专精大模型框架这个方向。之前的MosaicML被收购了。有一些大模型芯片初创比如SambaNova，Cerebras，Groq，Tenstorrent内部应该是会有这种专精的岗位。

小路NYC 发表于 2023-9-28 00:28
能拿这么多offer已经很棒了 lz还准备继续面吗
我之前发过一个 https://www.1point3acres.com/bbs/forum.p ...

不好意思，引起歧义了哈。看到了你的帖子，我觉得说的还是比较中肯的。感觉头部那几家面试确实深度和广度都很要求，很多要求对于算法，ml sys和底层多个方面（不是全部）。确实卷得飞起，而且他们都是录取最top的人，所以其实是有人能达到都拿下的。

感谢分享！有时间的时候，可以讲讲你的面经、体会、备战总结吗？谢谢！