DS LLM evaluation 詢問

最近翻译看到DS有LLM evaluation track。
想请问LLM evaluation track跟传统上的分析、推论、ML track有什么同异之处？
LLM evaluation的面试通常考什么？工作上在做什么？ LLM evaluation的前景如何？

目前仅有找到chillinterview有一篇这篇心得主要分享面试者应征狗家 Senior-Level Business Data Scientist 的经验。面试的team是Google Legal Team 的版权侦测系统为背景，当时公司使用传统 Machine Learning Classifier 侦测版权侵权申诉，希望导入 LLM 改善原有模型的辨识能力。

面试者在完成初步 Hiring Assessment 后，收到招募人员的通知，进入第一轮 Phone Screen。面试主要围绕 LLM Evaluation、Experiment Design 与 Statistical Analysis，并以 Google Legal Team 的版权侦测系统作为案例。

面试官主要提出三个方向的问题。第一，如何评估新 LLM 是否比原本的分类模型更好，并运用 Precision、Recall 等指标分析模型表现，以及解释 False Positive 增加可能造成的额外人工审查成本。第二，如何设计实验，在正式上线前比较新旧模型，并讨论能否同时测试两个模型，以及 Shadow Deployment、Canary Deployment 等部署方式。第三，当模型突然在特定地区侦测到大量版权侵权案件时，如何透过统计分析判断这是真实的区域趋势，还是模型产生的异常结果，并向高阶主管解释分析证据。

那篇面试心得是，预期更重视实验设计与统计推理，而不只是传统的 Machine Learning 或 LLM 技术知识。面试官会透过不同情境持续追问，测试候选人能否将技术概念应用于实际商业问题。因此，Senior Data Scientist 不仅需要理解模型评估指标，也必须考虑模型部署风险、营运成本及商业效益，并具备向非技术主管解释数据分析结果的能力。

Following 同问