论文地址:Humanity’s Last Exam
1. 背景与动机
随着大型语言模型(LLMs)能力的飞速发展,其在数学、编程、生物等领域的任务表现已超越人类。为了系统地衡量这些能力,LLMs 需要接受基准测试(Benchmarks)的评估。然而,现有的基准测试,如 MMLU,已经无法满足需求:
- 饱和现象严重:顶尖的 LLMs 在这些基准测试中已经能够达到超过 90% 的准确率,难以准确反映 AI 能力的真实水平。
- 无法有效评估前沿能力:现有基准测试无法充分评估 AI 在人类知识前沿领域的进步。
为了解决上述问题,HUMANITY’S LAST EXAM (HLE) 应运而生,旨在成为评估 AI 学术能力的最终封闭式基准测试。
2. HLE 的核心特点
2.1 挑战性与前沿性
- 高难度:HLE 包含 3000 道 极具挑战性的问题,涵盖数学、人文、自然科学等 100 多个学科领域。
- 示例:
- 数学:涉及高阶数学概念,如自然变换、共变自然变换等。
- 化学:要求分析复杂的化学反应机理。
- 语言学:考察对古代语言(如圣经希伯来语)的深入理解。
- 其他:包括经典文学、生态学、计算机科学等领域的问题【详见图 2】。
- 示例:
- 前沿性:问题由全球近 1000 名来自 500 多家机构的领域专家(包括教授、研究人员、研究生等)共同开发,确保了问题的前沿性和专业性。
2.2 多模态与精确性
- 多模态:HLE 是多模态基准测试,10% 的问题需要同时理解文本和图像信息。
- 精确性:
- 问题格式:包括精确匹配题(模型提供精确字符串作为输出)和多项选择题(模型从五个或更多选项中选择一个)。
- 答案验证:所有问题都有明确的、客观的答案,便于自动化评分。
2.3 严格的质量控制
- 多阶段审核流程:
- LLM 难度检查:在提交之前,每个问题都会经过多个前沿 LLM 的测试。如果 LLM 能够正确回答,则该问题会被拒绝【详见图 4】。
- 专家评审:通过 LLM 测试的问题将进入两轮人工评审:
- 第一轮:由研究生级别的评审员进行多轮反馈和修订。
- 第二轮:由组织者和专家评审员进行最终审核,确保问题质量和符合提交标准。
- 社区反馈:发布后,将进行公开反馈期,收集研究社区的意见,以纠正数据集中的任何问题。
- 严格的提交标准:
- 问题必须精确、无歧义、可解决且无法通过简单搜索获得。
- 所有提交内容必须为原创作品或对已发表信息的非平凡合成。
- 问题通常需要研究生级别的专业知识或测试对高度专业主题的知识。
- 答案简短且易于验证,以支持自动评分。
- 禁止开放式问题、主观解释和与大规模杀伤性武器相关的内容。
3. HLE 的评估结果与分析
3.1 顶尖 LLM 的表现
- 准确率低:所有顶尖 LLM 在 HLE 上的准确率均低于 10%,表明当前 AI 能力与专家级学术表现之间存在显著差距【详见表 1】。
- 原因分析:
- 问题难度高:HLE 旨在筛选出 LLM 无法正确回答的问题。
- 模型推理噪声:模型在推理过程中存在固有噪声,导致其无法始终保持一致的表现。
- 原因分析:
- 校准误差高:模型在 HLE 上表现出较差的校准性,经常以高置信度提供错误答案,表明模型存在幻觉(hallucination)问题【详见表 1】。
- RMS 校准误差:衡量模型预测置信度与实际准确率之间的一致性。RMS 误差越高,表明模型越不善于识别自身能力的边界。
模型 | 准确率 (%) ↑ | RMS 校准误差 (%) |
---|---|---|
GPT-4O | 3.3 | 92.5 |
GROK2 | 3.8 | 93.2 |
CLAUDE3.5SONNET | 4.3 | 88.9 |
GEMINI1.5PRO | 5.0 | 93.1 |
GEMINI2.OFLASHTHINKING | 6.2 | 93.9 |
O1 | 9.1 | 93.4 |
DEEPSEEK-R1 | 9.4 | 81.8 |
3.2 推理与计算成本
- 推理成本高:具有推理能力的模型需要生成更多的标记(tokens),从而导致更高的计算成本【详见图 5】。
- 未来方向:未来的模型不仅需要在准确率方面有所提升,还应致力于提高计算效率。
4. 未来展望与影响
4.1 未来模型的表现
- 发展潜力巨大:尽管当前 LLM 在 HLE 上的表现不佳,但 AI 发展迅速,模型很可能在 2025 年底之前在 HLE 上达到超过 50% 的准确率。
- 局限性:HLE 主要测试结构化的学术问题,而非开放式的科研或创造性问题,因此它只是衡量 AI 技术知识和推理能力的一个指标,而非衡量“人工通用智能”(AGI)的标准。
4.2 对 AI 发展的影响
- 提供共同参考点:HLE 为科学家和政策制定者提供了一个评估 AI 能力的共同参考点,有助于更深入地了解 AI 的发展轨迹、潜在风险以及必要的治理措施。
- 促进 AI 发展:HLE 的发布将激励研究人员开发更强大的 AI 模型,推动 AI 技术的不断进步。
5. 总结
HLE 代表着 AI 基准测试的一个重要里程碑,它:
- 挑战 AI 极限:通过设计极具挑战性的问题,HLE 有效评估了 AI 在人类知识前沿领域的能力。
- 推动 AI 发展:HLE 的发布将推动 AI 研究人员不断突破现有技术的瓶颈,推动 AI 技术的进一步发展。
- 促进 AI 治理:HLE 为 AI 治理提供了重要的参考依据,有助于制定更有效的 AI 政策。
图 2:HLE 提交的部分多样且具有挑战性的问题示例
图 4:HLE 数据集创建流程。接受 LLM 无法解决的问题,然后借助专家同行评审员进行迭代完善。每个问题随后由组织者或由组织者培训的专家评审员手动批准。除了公共集之外,还保留了一个私有保留集,以评估模型在公共基准测试上的过度拟合和作弊行为。
图 5:测试的推理模型的平均完成标记计数,包括推理和输出标记。我们还在附录 C.3 中绘制了非推理模型的平均标记计数。
6. 结论
HLE 为 AI 领域提供了一个全新的、极具挑战性的评估平台,将有助于推动 AI 技术的持续进步,并为 AI 治理提供重要的参考依据。