LLM RAG还是小模型ML training？

大家好，我目前在一所大厂AI search组，说白了就是做LLM-RAG，技术角度偏infra & system，不涉及ML模型本身。因为是online系统所以oncall压力还是挺大的。LLM出现后我一直很忧虑自己的职业前途，总感觉必须学modeling本身成为真正的MLE才会有饭碗。
我身边本科两位好朋友，正好也在其他大厂做ML training相关的infra，我总感觉他们的工作更高大上，而且因为是offline系统所以oncall轻松的多，羡慕啊。不过按他们的说法，ML training infra的工作也挺枯燥的，而且是传统小模型，人家还羡慕我的工作可以和LLM沾边。
所以我发帖想问问这里有没有类似困惑的朋友，或者有相关经验的前辈，LLM RAG到底是个值得深耕有前景的领域，还是说我应该尽力转到传统的ML training或者serving做真正懂(小)模型的MLE ？

感觉大部分人在做llm的人其实都在做auto rater... 本质上还是在call api罢了。。

看不清的时候有两个动作是确定有价值的。

1. 继续看，争取做最早或者第二早看出端倪的那几波人之一。
2.眼下啥能帮自己看的更清楚，或者更赚钱，做啥。

直接抄答案是不行的，等论坛上有答案的时候，你只能加入大部队了。

没意义
等AI取代大规模sde（甚至大部分白领的）时候，MLE也逃不了！
除非你是phd高智商人群做模型的researcher/scientist….

当AI能够取代大规模人的时候MLE就是下一个SDE。

最安全的就是做LLM modeling，但是你要有phd学位或者paper+过人的智商。其他的都半斤八两吧

现在大模型还取代不了小模型吧？

一个新技术的出现往往价值在应用而不是技术本身，想想C语言的出现，C++的出现，Java的出现，开源数据库的出现，最大的受益者都不是技术研发本身，Java的创始公司Sun还被收购了

还真是围城。
我是转码选手，一直想做LLM，奈何LLM对hands-on exp要求高，一直没机会。
最近刚找到一个做小模型的工作，adtech，我专门做model training。目前是用传统ML来train一个bidder，之后可能要用上RL。
貌似我俩是互相羡慕，哈哈

匿名用户 发表于 2025-9-7 12:40
还真是围城。
我是转码选手，一直想做LLM，奈何LLM对hands-on exp要求高，一直没机会。
最近刚找到一个做 ...

怎么转？没有公司的项目经验，自己手搓的项目算吗？怎么找这种机会？谢谢

willwillzhang 发表于 2025-9-7 12:19
怎么转？没有公司的项目经验，自己手搓的项目算吗？怎么找这种机会？谢谢

我是22年那会儿转的码，跟media相关的SDE，但不是adtech
现在MLE也是跟media相关的adtech，算是有一些相关吧。
至于机会其实是hm主动reach out的