做llm eval + experimentation 的ds都在做什么

rt, 好奇做llm eval + experimentation 的ds都在做什么
请问现在那些llm eval 的metric都是ds 定的还是mle定的，和传统product ds 做的experimentation 有什么不同，求指点

最大的不同是 offline 和 online 经常对不上，offline 涨、线上不涨是常态。你多数时间在造 eval set、调 judge、做人评对齐，A/B 反而只占一小块。传统那套因果推断只能部分用，随机单元和样本量都很尴尬。

现实的梨子 发表于 2026-9-17 19:19
最大的不同是 offline 和 online 经常对不上，offline 涨、线上不涨是常态。你多数时间在造 eval set、调 j ...

感谢大佬，听起来eval set很重要，那这些都是ds 决定用什么样的eval set, cover 哪些topic,哪些level？还是mle, research engineer先定大方向？调judge,需要自己去看eval set对比么？还是只是看high level metrics的变化。