某AI Startup招聘大语言模型与智能体评估研究工程师（Sponsor H1b transfer)

某AI Startup招聘研究工程师 / 研究科学家，大语言模型与智能体评估
地点：湾区，西雅图
签证：Sponsor H1b transfer
微信：miaomiaomiao3210

我们正在寻找工程师或科学家，为前沿大语言模型和AI智能体构建评估体系。

这不是一个跑基准、做QA或数据标注运营的岗位。你需要通过代码、实验和研究，设计具有挑战性的基准测试，构建自动化评估流水线，揭示模型的失败模式，并判断看似提升的能力是否真实可信。

我们的目标很简单：打造能告诉我们模型“真实能做什么、不能做什么”的评估工具，并利用这些洞察驱动下一轮模型开发。

关于本岗位

我们正在寻找若干名专注于大语言模型与智能体评估的研究工程师/研究科学家，共同定义和衡量下一代AI系统的能力边界。
这并非传统的QA岗位，也不以运行现有基准或管理标注运营为主要工作。

该岗位的核心使命是构建严谨、富有挑战性且信息量充分的评估体系，以回答根本性问题：

- 我们的模型和智能体究竟能做什么？
- 它们在哪些地方失败？为什么？
- 表面上的能力提升是否真实且具有泛化性？
- 现有基准是否仍在衡量有意义的能力？
- 为了指导模型开发，我们下一步应构建什么样的评估？

你将覆盖评估的完整生命周期，包括基准设计、程序化数据构建、自动评分、能力分析、失败诊断，以及向模型和智能体开发提供反馈。

岗位职责

1. 设计前沿模型与智能体的评估框架

- 针对推理、数学、编程、科学问题求解、知识、搜索、工具使用、深度研究和长周期任务执行等能力，开发系统化的评估框架。
- 分析现有基准的有效性、覆盖度、难度和局限性，设计更具挑战性、真实性强、区分度高且能抵抗饱和或数据污染的新评估方案。
- 为智能体设计结果级和过程级评估，包括任务成功率、轨迹、工具使用、中间决策和恢复行为等。

2. 构建高质量的基准测试与评估数据

- 端到端设计和构建评估数据集，涵盖任务生成、筛选、验证、难度校准和质量控制。
- 开发参考答案、评分标准、自动评分器和程序化验证方法，重点强调通过代码实现自动化数据合成、筛选、验证和清洗。
- 识别并缓解歧义、答案泄露、数据污染、基准饱和和标注不一致等问题；在需要人工判断时，与专家标注员或数据团队协作。

3. 开发可靠的自动化评估系统

- 构建可扩展的评估流水线，结合LLM-as-a-Judge、基于规则的评分、可执行验证、单元测试、符号检查以及适当的人工评估。
- 研究并改进评估器的可靠性，包括评判偏差、不稳定性、奖励破解和模型特定的评估伪影。
- 提升评估基础设施的可复现性、鲁棒性、效率和可解释性。

4. 诊断能力与失败模式

- 对模型、检查点、训练方法、提示词、脚手架和智能体架构进行系统性对比，识别重复出现的失败模式及其根本原因。
- 区分真正的能力提升与基准过拟合、提示效应、评估器伪影或特定分布增益之间的差异。
- 将研究结论转化为对模型开发的可操作建议，并主动设计能够揭示强模型潜在弱点的评估方案。

5. 探索新的评估方法论

- 跟踪LLM评估、智能体评估、基准设计、自动评分、奖励建模和RL评估等前沿研究，并快速复现有前途的方法。
- 针对日益强大和自主的系统，开发新的评估方法，包括自适应、对抗性、交互式和模型生成的评估。
- 在适当时，向更广泛的研究社区贡献新的基准、方法论和研究成果。

优先资格

以下任一领域的经验均为加分项：
- 硕士及以上学历，计算机科学、人工智能、数学、物理、统计学或其他定量学科；学士学位但具有丰富研究或工程经验的杰出候选人亦可考虑。
- 为大语言模型、视觉语言模型、多模态模型或AI智能体设计过基准或评估系统。
- 有LLM预训练、后训练、SFT、RLHF、RLVR、奖励建模或相关方法的经验。
- 在数学、编程、科学推理、深度研究、浏览器智能体、计算机使用智能体或长周期自主系统方面有经验。
- 熟悉LLM-as-a-Judge、自动评分器、可执行评估、奖励模型或人工评估系统。
- 有合成数据生成、程序化筛选、验证或大规模基于模型的数据流水线经验。
- 熟悉SWE-bench、GAIA、BrowseComp、Humanity's Last Exam、MMLU-Pro、LiveCodeBench或类似前沿评估基准。
- 有扎实的研究成果记录，如第一作者论文、重要开源贡献或独立领导的研究项目。
- 有成功设计评估方案并揭示最先进模型局限性的经验。