LLM的eval组

我人在G/F。现在有一个内部转组机会，做LLM 各种eval的组，就是要负责各种experiment, a/b test pipeline啥的。

我的规划还是从backend转到MLE或者ML infra，请问这种LLM eval组有机会接触到ML吗？感觉不太行，但我毕竟外行，想听听内行看法。

去吧，算是曲线救国

感觉属于沾个边，估计是把模型当成黑盒来处理，跑跑各种评测的pipeline算算分数

真正接触到llm模型修改的组或人很少很少吧 基本deepmind一小撮人大神级别 楼主backend出身相比ml出身对模型理解肯定弱很多 而且本身模型改动roi也比较低 llm训练绝大多数是基于数据 如果楼主组 除了eval也做基于数据模型训练和提升感觉也很不错

听着像人工洗data的

蹲一个看回复

听着像data infra那套.

匿名用户 发表于 2024-08-02 20:02:58
听着像人工洗data的

我不确定。我的理解就是GPT model或者相关产品需要各种test metrics，才能保证质量。这里的test比如offline eval，a/b test等等，感觉就是纯test组，完全学不到ML相关的？

接触不到LLM训练本身，至多是训练个评分模型把gt和现有回答对比

是gcp么

看是什么LLM了，如果只是LLM应用， 那所谓LLM modeling也就是fine tune，核心是好的data, 如果没有相关的背景(phd in stats, physics, mathmatics) 还是蛮难survive的。也没什么infra可以做。那做evaluation 还好点。 如果是做基础模型，可以去LLM infra看看，相对好survive。