LLM的eval组

建议你不要 需要数学好 是比工程难度还要高的领域

dayeye2006 发表于 2024-08-02 20:52:28
感觉属于沾个边，估计是把模型当成黑盒来处理，跑跑各种评测的pipeline算算分数

对 我的理解也是如此，就是当成黑盒做model eval，这算沾边么？
我的背景其实很适合ML infra，可惜碰不到对口机会

匿名用户 发表于 2024-08-02 21:47:42
看是什么LLM了，如果只是LLM应用， 那所谓LLM modeling也就是fine tune，核心是好的data, 如果没有相关的背景(phd in stat

的确是LLM应用而已，org里只有fine tuning。
但我不懂“核心是好data，需要phd in stats“？
另外我是infra出身，其实对口的是AI infra(data infra 或者GPU管理), 但无奈碰不到对口的组。所以你觉得我想进入LLM赛道还是应该AI infra，而不是这种eval组？

匿名用户 发表于 2024-08-02 21:51:09
真正接触到llm模型修改的组或人很少很少吧 基本deepmind一小撮人大神级别 楼主backend出身相比ml出身对模型理解肯定弱很多 而且本身模型改动roi

谢谢。我其实完全不了解model eval这领域，请问有多高技术含量呢？我其实很谦卑，目的单纯，就是想多学习ML相关的东西。。

听着很水，像是human annotator.

匿名用户 发表于 2024-8-2 22:20
的确是LLM应用而已，org里只有fine tuning。
但我不懂“核心是好data，需要phd in stats“？
另外我是infr ...

data quality is key to LLM. trash-in trash-out. 发现好data 是最重要的，所以一些stats, maths phd 就比较有优势。

纯infra 的背景做eval 也不合适。这种Team的eval一版都会跟business挂钩，需要有LLM背景。

去吧，算是曲线救国

是做gemini嘛 如果是 我投一票

感觉还是有点像de，工作主业有点像搭data pipeline。

eval现在不是llm里最火的方向之一吗？看到好多startup做这个