HUMANITY’S LAST EXAM (HLE) 综述:人工智能领域的“最终考试”

论文地址:Humanity’s Last Exam

1. 背景与动机

随着大型语言模型(LLMs)能力的飞速发展,其在数学、编程、生物等领域的任务表现已超越人类。为了系统地衡量这些能力,LLMs 需要接受基准测试(Benchmarks)的评估。然而,现有的基准测试,如 MMLU,已经无法满足需求:

  • 饱和现象严重:顶尖的 LLMs 在这些基准测试中已经能够达到超过 90% 的准确率,难以准确反映 AI 能力的真实水平。
  • 无法有效评估前沿能力:现有基准测试无法充分评估 AI 在人类知识前沿领域的进步。

为了解决上述问题,HUMANITY’S LAST EXAM (HLE) 应运而生,旨在成为评估 AI 学术能力的最终封闭式基准测试

2. HLE 的核心特点

2.1 挑战性与前沿性
  • 高难度:HLE 包含 3000 道 极具挑战性的问题,涵盖数学、人文、自然科学等 100 多个学科领域
    • 示例
      • 数学:涉及高阶数学概念,如自然变换、共变自然变换等。
      • 化学:要求分析复杂的化学反应机理。
      • 语言学:考察对古代语言(如圣经希伯来语)的深入理解。
      • 其他:包括经典文学、生态学、计算机科学等领域的问题【详见图 2】。
  • 前沿性:问题由全球近 1000 名来自 500 多家机构的领域专家(包括教授、研究人员、研究生等)共同开发,确保了问题的前沿性和专业性。
2.2 多模态与精确性
  • 多模态:HLE 是多模态基准测试,10% 的问题需要同时理解文本和图像信息。
  • 精确性
    • 问题格式:包括精确匹配题(模型提供精确字符串作为输出)和多项选择题(模型从五个或更多选项中选择一个)。
    • 答案验证:所有问题都有明确的、客观的答案,便于自动化评分。
2.3 严格的质量控制
  • 多阶段审核流程
    • LLM 难度检查:在提交之前,每个问题都会经过多个前沿 LLM 的测试。如果 LLM 能够正确回答,则该问题会被拒绝【详见图 4】。
    • 专家评审:通过 LLM 测试的问题将进入两轮人工评审:
      • 第一轮:由研究生级别的评审员进行多轮反馈和修订。
      • 第二轮:由组织者和专家评审员进行最终审核,确保问题质量和符合提交标准。
    • 社区反馈:发布后,将进行公开反馈期,收集研究社区的意见,以纠正数据集中的任何问题。
  • 严格的提交标准
    • 问题必须精确、无歧义、可解决且无法通过简单搜索获得
    • 所有提交内容必须为原创作品或对已发表信息的非平凡合成
    • 问题通常需要研究生级别的专业知识或测试对高度专业主题的知识
    • 答案简短且易于验证,以支持自动评分。
    • 禁止开放式问题、主观解释和与大规模杀伤性武器相关的内容

3. HLE 的评估结果与分析

3.1 顶尖 LLM 的表现
  • 准确率低:所有顶尖 LLM 在 HLE 上的准确率均低于 10%,表明当前 AI 能力与专家级学术表现之间存在显著差距【详见表 1】。
    • 原因分析
      • 问题难度高:HLE 旨在筛选出 LLM 无法正确回答的问题。
      • 模型推理噪声:模型在推理过程中存在固有噪声,导致其无法始终保持一致的表现。
  • 校准误差高:模型在 HLE 上表现出较差的校准性,经常以高置信度提供错误答案,表明模型存在幻觉(hallucination)问题【详见表 1】。
    • RMS 校准误差:衡量模型预测置信度与实际准确率之间的一致性。RMS 误差越高,表明模型越不善于识别自身能力的边界。
模型准确率 (%) ↑RMS 校准误差 (%)
GPT-4O3.392.5
GROK23.893.2
CLAUDE3.5SONNET4.388.9
GEMINI1.5PRO5.093.1
GEMINI2.OFLASHTHINKING6.293.9
O19.193.4
DEEPSEEK-R19.481.8
3.2 推理与计算成本
  • 推理成本高:具有推理能力的模型需要生成更多的标记(tokens),从而导致更高的计算成本【详见图 5】。
    • 未来方向:未来的模型不仅需要在准确率方面有所提升,还应致力于提高计算效率。

4. 未来展望与影响

4.1 未来模型的表现
  • 发展潜力巨大:尽管当前 LLM 在 HLE 上的表现不佳,但 AI 发展迅速,模型很可能在 2025 年底之前在 HLE 上达到超过 50% 的准确率。
  • 局限性:HLE 主要测试结构化的学术问题,而非开放式的科研或创造性问题,因此它只是衡量 AI 技术知识和推理能力的一个指标,而非衡量“人工通用智能”(AGI)的标准。
4.2 对 AI 发展的影响
  • 提供共同参考点:HLE 为科学家和政策制定者提供了一个评估 AI 能力的共同参考点,有助于更深入地了解 AI 的发展轨迹、潜在风险以及必要的治理措施。
  • 促进 AI 发展:HLE 的发布将激励研究人员开发更强大的 AI 模型,推动 AI 技术的不断进步。

5. 总结

HLE 代表着 AI 基准测试的一个重要里程碑,它:

  • 挑战 AI 极限:通过设计极具挑战性的问题,HLE 有效评估了 AI 在人类知识前沿领域的能力。
  • 推动 AI 发展:HLE 的发布将推动 AI 研究人员不断突破现有技术的瓶颈,推动 AI 技术的进一步发展。
  • 促进 AI 治理:HLE 为 AI 治理提供了重要的参考依据,有助于制定更有效的 AI 政策。

HLE 示例问题
图 2:HLE 提交的部分多样且具有挑战性的问题示例

HLE 数据集创建流程
图 4:HLE 数据集创建流程。接受 LLM 无法解决的问题,然后借助专家同行评审员进行迭代完善。每个问题随后由组织者或由组织者培训的专家评审员手动批准。除了公共集之外,还保留了一个私有保留集,以评估模型在公共基准测试上的过度拟合和作弊行为。

HLE 准确率与 RMS 校准误差
图 5:测试的推理模型的平均完成标记计数,包括推理和输出标记。我们还在附录 C.3 中绘制了非推理模型的平均标记计数。

6. 结论

HLE 为 AI 领域提供了一个全新的、极具挑战性的评估平台,将有助于推动 AI 技术的持续进步,并为 AI 治理提供重要的参考依据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/6948.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

利用大型语言模型在量化投资中实现自动化策略

“Automate Strategy Finding with LLM in Quant investment” 论文地址:https://arxiv.org/pdf/2409.06289 摘要 这个新提出的量化股票投资框架,利用大型语言模型(LLMs)与多智能体系统相结合的方法,通过LLMs从包括数…

OpenCV:在图像中添加高斯噪声、胡椒噪声

目录 在图像中添加高斯噪声 高斯噪声的特性 添加高斯噪声的实现 给图像添加胡椒噪声 实现胡椒噪声的步骤 相关阅读 OpenCV:图像处理中的低通滤波-CSDN博客 OpenCV:高通滤波之索贝尔、沙尔和拉普拉斯-CSDN博客 OpenCV:图像滤波、卷积与…

大数据学习(40)- Flink执行流

&&大数据学习&& 🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门 💖如果觉得博主的文章还不错的话,请点赞👍收藏⭐️留言📝支持一下博主哦&#x1f91…

Prometheus+Grafana监控minio对象存储

1. 安装 MinIO 步骤 1:下载 MinIO 二进制文件 wget https://dl.min.io/server/minio/release/linux-amd64/miniochmod x miniosudo mv minio /usr/local/bin/ 步骤 2:创建数据目录 sudo mkdir -p /data/miniosudo chown -R $USER:$USER /data/minio …

2025数学建模美赛|F题成品论文

国家安全政策与网络安全 摘要 随着互联网技术的迅猛发展,网络犯罪问题已成为全球网络安全中的重要研究课题,且网络犯罪的形式和影响日益复杂和严重。本文针对网络犯罪中的问题,基于多元回归分析和差异中的差异(DiD)思…

期权帮|如何利用股指期货进行对冲套利?

锦鲤三三每日分享期权知识,帮助期权新手及时有效地掌握即市趋势与新资讯! 如何利用股指期货进行对冲套利? 对冲就是通过股指期货来平衡投资组合的风险。它分为正向与反向两种策略: (1)正向对冲&#xff…

QT 中 UDP 的使用

目录 一、UDP 简介 二、QT 中 UDP 编程的基本步骤 (一)包含头文件 (二)创建 UDP 套接字对象 (三)绑定端口 (四)发送数据 (五)接收数据 三、完整示例代…

Android BitmapShader简洁实现马赛克,Kotlin(二)

Android BitmapShader简洁实现马赛克,Kotlin(二) 这一篇 Android BitmapShader简洁实现马赛克,Kotlin(一)-CSDN博客 遗留一个问题,xml定义的MyView为wrap_content的宽高,如果改成其…

分布式光纤应变监测是一种高精度、分布式的监测技术

一、土木工程领域 桥梁结构健康监测 主跨应变监测:在大跨度桥梁的主跨部分,如悬索桥的主缆、斜拉桥的斜拉索和主梁,分布式光纤应变传感器可以沿着这些关键结构部件进行铺设。通过实时监测应变情况,能够精确捕捉到车辆荷载、风荷…

uniapp的插件开发发布指南

Hbuilder创建项目 项目根目录创建uni_modules 开发组件 发布到插件市场 填写发布说明(未登录需要登录) 点击提交 在终端可以看到 发布成功! 插件市场查看

大厂案例——腾讯蓝鲸DevOps类应用的设计与实践

蓝鲸体系架构图 蓝鲸CICD应用功能架构 降低DEVOPS门槛—开发者中心 CICD应用需要的后台服务 系列阅读 12306亿级流量架构分析(史上最全)实现电商平台从业务到架构的治理体系基于主数据驱动的数据治理什么时候需要分表分库?-CSDN博客

Jetson nano 安装 PCL 指南

本指南帮助 ARM64 架构的 Jetson Nano 安装 PCL(点云库)。 安装步骤 第一步:安装依赖 在终端中运行以下命令,安装 PCL 所需的依赖: sudo apt-get update sudo apt-get install git build-essential linux-libc-dev s…

WPF基础 | WPF 基础概念全解析:布局、控件与事件

WPF基础 | WPF 基础概念全解析:布局、控件与事件 一、前言二、WPF 布局系统2.1 布局的重要性与基本原理2.2 常见布局面板2.3 布局的测量与排列过程 三、WPF 控件3.1 控件概述与分类3.2 常见控件的属性、方法与事件3.3 自定义控件 四、WPF 事件4.1 路由事件概述4.2 事…

JVM堆空间

一、堆空间的核心概述 一个JVM实例只存在一个堆内存,堆也是Java内存管理的核心区域。Java堆区在JVM启动的时候即被创建,其空间大小也就确定了。是JVM管理的最大一块内存空间。 堆内存的大小是可以调节的。堆可以处于物理上不连续的内存空间中&#xff…

【深度学习基础】多层感知机 | 数值稳定性和模型初始化

【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈PyTorch深度学习 ⌋ ⌋ ⌋ 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上,结合当代大数据和大算力的发展而发展出来的。深度学习最重…

数字图像处理:实验五

uu们!大家好,欢迎来到数字图像处理第五章节内容的学习,在本章中有关空间滤波的理论学习是十分重要的,所以建议大家要去用心的学习本章,在之后的传感器的相关图像采集时,不可避免的会有噪声等的影响&#xf…

CCF开源发展委员会开源供应链安全工作组2025年第1期技术研讨会顺利举行

点击蓝字 关注我们 CCF Opensource Development Committee 2025年1月17日,CCF开源发展委员会供应链安全工作组(CCF-ODC-OSS)2025年第一期技术研讨会——“大模型时代的开源供应链安全风控技术”于北京黄大年茶思屋顺利举行。本次研讨会邀请了…

如何进行市场调研?海外问卷调查有哪些类型和示例?

什么是市场研究? 市场研究的目的,就是调查消费者的行为和当时的经济趋势,帮助企业制定和调整经营理念和经营路线,通过收集和分析数据,帮助企业了解其目标市场。 市场调查是通过对潜在客户的分析,来判断品…

DX12 快速教程(4) —— 画钻石原矿

快速导航 新建项目 "004-DrawTexture"纹理贴图纹理采样纹理过滤邻近点采样双线性过滤Mipmap 多级渐远纹理三线性过滤各向异性过滤 纹理环绕LOD 细节层次 开始画钻石原矿吧加载纹理到内存中:LoadTexture什么是 WIC如何用 WIC 读取一帧图片获取图片格式并转…

FPGA实现任意角度视频旋转(二)视频90度/270度无裁剪旋转

本文主要介绍如何基于FPGA实现视频的90度/270度无裁剪旋转,旋转效果示意图如下: 为了实时对比旋转效果,采用分屏显示进行处理,左边代表旋转前的视频在屏幕中的位置,右边代表旋转后的视频在屏幕中的位置。 分屏显示的…