后端软件工程师如何转LLM?

想和地理的朋友们请教下，后端工程师如果想要换方向做LLM，需要提前做哪些知识储备吗？如果直接面试做LLM的组，是不是基本不可能？有没有做LLM的大佬或者换方向成功的前辈能share一些看法和经验呢？

我是反着的。。在做llm想转去golang后端。

很多公司的llm没有技术含量的，照搬llama架构然后洗数据就行了，数据决定模型上限。

预训练和rlhf昂贵一些，大部分做业务的组都是在做sft。可以说sft几乎就是99%的数据加1%的算法，为数不多的算法上的重点就是transformer，llama架构，next token prediction，梯度反传，交叉熵之类的概念，然后剩下的工作就是搞各种数据了，洗数据筛数据加数据，其实没有很多技术含量。

工作当中需要的技能大致就是上面这些，但是面试可能就问得更多更广一些，尤其是从后端转过来的情况，如果多年经验的话可能就比较尴尬。

多看paper，水llm app项目放你现雇主的工作经验里，就说你参与了现雇主LLM集成的一些活，面试就是表演，世界就是个草台班子，现在你简历要没有ML/LLM你三哥三姐简历关都过不了，实在懒得学你至少把普通infra的活都变成ML infra的，普通码农不去沾边LLM/AI必死，不信就下场面一圈

先发几篇顶会吧，现在递上来的简历基本人手都有。

试试先转去一个infra team，最好是ml infra

同问，后端Java 工程师，想学习LLM，要如何开始

目前觉得可行的是转去或者跳去有 SDE 和 MLE collab 的组，边学边做，充实 skillset 逐渐转换角色，可能需要一两年时间，好像很难有一蹴而就的方法

可以考虑先买一本alex xu的新书Generative AI System Design Interview看看
.--https://blog.bytebytego.com/p/our-new-book-generative-ai-system

Casimir 发表于 2024-11-24 08:32:40
我是反着的。。在做llm想转去golang后端。
很多公司的llm没有技术含量的，照搬llama架构然后洗数据就行了，数据决定模型上限。
预训练和rlhf昂贵一

太真实了老铁 同😭

Casimir 发表于 2024-11-24 11:32
. 1point 3acres 我是反着的。。在做llm想转去golang后端。

很多公司的llm没有技术含量的，照搬llama架构然后洗数据就行了 ...

你是业务岗还是那种洗预训练数据的？反正洗预训练数据我感觉还挺核心的。业务岗不太了解

如果去外面面试没有任何优势，因为你的llm经验和ng一样，ng还有很多paper呢你没有。
如果内部转组，很可能并不会有任何工资变动。
过了几年llm不火了你想转回来，对不起人家有七年backend经验你只有四年了