【大语言模型】ACL2024论文-20 SCIMON:面向新颖性的科学启示机器优化

【大语言模型】ACL2024论文-20 SCIMON:面向新颖性的科学启示机器优化

在这里插入图片描述


目录

文章目录

  • 【大语言模型】ACL2024论文-20 SCIMON:面向新颖性的科学启示机器优化
    • 目录
      • 摘要
      • 研究背景
      • 问题与挑战
      • 如何解决
      • 创新点
      • 算法模型
      • 实验效果
      • 推荐阅读指数:★★★★☆
    • 后记


SCIMON:面向新颖性的科学启示机器优化

摘要

本文探索并增强了神经语言模型生成基于文献的新颖科学方向的能力。传统的基于文献的假设生成工作通常集中在二元链接预测上,这严重限制了假设的表达性,并且没有专注于优化新颖性。本文提出了一种新的设置,模型使用背景上下文(例如问题、实验设置、目标)作为输入,并输出基于文献的自然语言想法。我们提出了SCIMON(Scientific Inspiration Machines with Optimization for Novelty),这是一个建模框架,它从过去的科学论文中检索“启示”,并通过与先前论文的迭代比较,明确优化新颖性,直到达到足够的新颖性。全面的评估揭示了GPT-4倾向于生成技术深度和新颖性总体较低的想法,而我们的方法部分缓解了这个问题。我们的工作代表了评估和开发从科学文献中生成新想法的语言模型的第一步。

研究背景

几十年来,人们一直认为可以利用文献中的信息自动生成假设。迄今为止,研究集中在一个特定设置上:假设概念对之间的联系(通常在药物发现应用中,例如新的药物-疾病联系),其中概念是从论文或从论文中派生的知识库中获得的。这种常见设置有根本性的缺点,将科学思想的语言简化为这种简单形式限制了我们希望生成的假设的表达性,并且没有捕捉到科学家考虑的微妙上下文:目标应用设置、要求和约束、动机和挑战。鉴于最近在大型语言模型(LLMs)方面取得的进展,本文探索了一种截然不同的设置:模型接受问题上下文的描述,并返回基于文献的新颖科学方向的自然语言建议。

问题与挑战

  • 表达性限制:将科学思想的语言简化为二元链接预测形式,限制了生成假设的表达性。
  • 新颖性优化缺失:现有工作没有专注于优化新颖性。
  • 上下文捕捉不足:没有捕捉到科学家考虑的微妙上下文,例如目标应用设置、要求和约束、动机和挑战。
  • 现有模型的局限性:尽管大型语言模型(LLMs)在解释和产生自然语言内容方面取得了显著进展,但它们在生成新颖科学想法方面存在困难。

如何解决

  • SCIMON框架:提出了SCIMON框架,它从过去的科学论文中检索“启示”,并明确通过迭代比较来优化新颖性。
  • 自动化数据收集方法:开发了一种自动化数据收集方法,从科学论文中收集过去的问题和提出的 ideas 的例子。
  • 迭代新颖性提升:模型在生成想法后,将其与现有研究进行比较;如果发现与现有研究高度重叠,模型会更新其想法,以相对于先前的工作更具新颖性。

创新点

  • 新颖性优化:SCIMON框架通过迭代比较来优化新颖性,这是对现有工作的显著改进。
  • 上下文和启示的结合:模型结合了背景上下文和从过去文献中检索的启示,以生成新颖的科学想法。
  • 自动化数据收集:提出了一种自动化方法来收集用于训练LLMs的数据,这些数据包括问题描述和相应的建议想法。
  • 全面评估:进行了首次全面评估,以评估语言模型在新的生成性、上下文设置中生成科学想法的能力。

算法模型

SCIMON框架包括以下几个关键组件:

  1. 启示检索模块:从语义邻居、知识图谱邻居和引用邻居中检索信息,以丰富背景上下文。
  2. 想法生成模块:给定检索到的启示和上下文,生成基于上下文的想法。
  3. 迭代新颖性提升:通过与现有研究的迭代比较,提升生成想法的新颖性。
    在这里插入图片描述

实验效果

实验部分包括以下几个方面:

  • 人类评估研究:通过四项人类评估研究,探讨了问题的各个方面和方法。
  • 模型性能比较:比较了不同模型的性能,包括GPT-4和其他基线模型。
  • 新颖性提升效果:评估了迭代新颖性提升方法的效果。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

重要数据与结论

  • GPT-4的性能:GPT-4倾向于生成技术深度和新颖性总体较低的想法。
  • SCIMON的优势:SCIMON方法在任务上优于基线LLMs,但生成的想法仍然大多是增量的,并且细节不足。
  • 新颖性提升:迭代新颖性提升方法能够显著提高想法的新颖性,但模型往往倾向于建议流行概念的组合。

推荐阅读指数:★★★★☆


后记

如果您对我的博客内容感兴趣,欢迎三连击 (***点赞、收藏和关注 ***)和留下您的评论,我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型,深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享,助力您更快更准更系统地了解 AI前沿技术

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/477576.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HTML实现 扫雷游戏

前言: 游戏起源与发展 扫雷游戏的雏形可追溯到 1973 年的 “方块(cube)” 游戏,后经改编出现了 “rlogic” 游戏,玩家需为指挥中心探出安全路线避开地雷。在此基础上,开发者汤姆・安德森编写出了扫雷游戏的…

docker镜像源配置、换源、dockerhub国内镜像最新可用加速源(仓库)

一、临时拉取方式 在docker pull后先拼接镜像源域名,后面拼接拉取的镜像名 $ docker pull dockerpull.org/continuumio/miniconda3 二、永久配置方式 vim修改/etc/docker/daemon.json,并重启docker服务。 # 创建目录 sudo mkdir -p /etc/docker# 写…

AMD(Xilinx) FPGA配置Flash大小选择

目录 1 FPGA配置Flash大小的决定因素2 为什么选择的Flash容量大小为最小保证能够完成整个FPGA的配置呢? 1 FPGA配置Flash大小的决定因素 在进行FPGA硬件设计时,选择合适的配置Flash是我们进行硬件设计必须考虑的,那么配置Flash大小的选择由什…

NVR录像机汇聚管理EasyNVR多品牌NVR管理工具/设备如何使用Docker运行?

在当今的安防监控领域,随着视频监控技术的不断发展和应用范围的扩大,如何高效、稳定地管理并分发视频流资源成为了行业内外关注的焦点。EasyNVR作为一款功能强大的多品牌NVR管理工具/设备,凭借其灵活的部署方式和卓越的性能,正在引…

【SKFramework框架】一、框架介绍

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享QQ群:398291828小红书小破站 大家好,我是佛系工程师☆恬静的小魔龙☆,不定时更新Unity开发技巧,觉得有用记得一键三连哦。 一、前言 【Unity3D框架】SKFramework框架完全教程《全…

Python 版本的 2024详细代码

2048游戏的Python实现 概述: 2048是一款流行的单人益智游戏,玩家通过滑动数字瓷砖来合并相同的数字,目标是合成2048这个数字。本文将介绍如何使用Python和Pygame库实现2048游戏的基本功能,包括游戏逻辑、界面绘制和用户交互。 主…

排序算法(选择排序、直接插入排序、冒泡排序、二路归并排序)(C语言版)

对数组进行排序,主要演示选择排序、直接排序、冒泡排序、二路归并排序算法,附上代码演示 一、编写好各类排序方法的函数 (1) s_sort(int e[],int n):选择排序。 (2)si_sort(int e[],int n):直接插人排序。…

Unity图形学之Surface Shader结构

1.没有Pass:因为Render Path已经封装好了 Shader "Custom/Test" {Properties{_Color ("Color", Color) (1,1,1,1)_MainTex ("Albedo (RGB)", 2D) "white" {}_Glossiness ("Smoothness", Range(0,1)) 0.5_Meta…

数据集-目标检测系列- 牵牛花 检测数据集 morning_glory >> DataBall

数据集-目标检测系列- 牵牛花 检测数据集 morning DataBall 助力快速掌握数据集的信息和使用方式,会员享有 百种数据集,持续增加中。 贵在坚持! 数据样例项目地址: * 相关项目 1)数据集可视化项目:git…

摄影:相机控色

摄影:相机控色 白平衡(White Balance)白平衡的作用: 白平衡的使用环境色温下相机色温下总结 白平衡偏移与包围白平衡包围 影调 白平衡(White Balance) 人眼看到的白色:会自动适应环境光线。 相…

Odoo :免费且开源的农牧行业ERP管理系统

文 / 开源智造Odoo亚太金牌服务 引言 提供农牧企业数字化、智能化、无人化产品服务及全产业链高度协同的一体化解决方案,提升企业智慧种养、成本领先、产业互联的核心竞争力。 行业典型痛点 一、成本管理粗放,效率低、管控弱 产品研发过程缺少体系化…

oracle查看锁阻塞-谁阻塞了谁

一 模拟锁阻塞 #阻塞1 一个会话正在往一个大表写入大量数据的时候,另一个会话加字段: #会话1 #会话2 会话2被阻塞了。 #阻塞2 模拟一个会话update一条记录,没提交。 另一个会话也update这一条记录: 会话2被阻塞了。 二 简单查…

HDR视频技术之三:色度学与颜色空间

HDR 技术的第二个理论基础是色度学。从前面的内容中可以了解到,光学以及人类视觉感知模型为人类提供了解释与分析人类感知亮度的理论基础,但是 HDR 技术不仅仅关注于提升图像与视频的亮度范围,同时也关注于提供更加丰富的色彩。因此&#xff…

神经网络中常用的激活函数(公式 + 函数图像)

激活函数是人工神经网络中的一个关键组件,负责引入非线性,从而使神经网络能够学习和表示复杂的非线性关系。没有激活函数,神经网络中的所有计算都是线性变换,而线性模型的表达能力有限,无法处理复杂的任务。 激活函数…

Redis——Raft算法

Raft使用较为广泛的强一致性、去中心化、高可用的分布式协议,即使在网络、节点故障等情况下,多个节点依然能达到一致性。 其中redis、etcd等都用到了这种算法 在Redis集群中,采取的主从复制结构,当主节点宕机后,哨兵会…

C 语言复习总结记录二

C 语言复习总结记录二 一 控制语句 1、语句的分类 表达式语句函数调用语句复合语句控制语句空语句 控制语句 控制程序的执行流程,实现程序的各种结构方式 C 语言支持三种结构 :顺序结构、选择结构、循环结构,由特定的语句定义符组成C语言…

网络无人值守批量装机-cobbler

网络无人值守批量装机-cobbler 一、cobbler简介 ​ 上一节中的pxe+kickstart已经可以解决网络批量装机的问题了,但是环境配置过于复杂,而且仅针对某一个版本的操作系统进批量安装则无法满足目前复杂环境的部署需求。 ​ 本小节所讲的cobbler则是基于pxe+kickstart技术的二…

基于深度学习CNN算法的花卉分类识别系统01--带数据集-pyqt5UI界面-全套源码

文章目录 基于深度学习算法的花卉分类识别系统一、项目摘要二、项目运行效果三、项目文件介绍四、项目环境配置1、项目环境库2、环境配置视频教程 五、项目系统架构六、项目构建流程1、数据集2、算法网络Mobilenet3、网络模型训练4、训练好的模型预测5、UI界面设计-pyqt56、项目…

HarmonyOs鸿蒙开发实战(20)=>一文学会基础使用组件导航Navigation

敲黑板,以下是重点技巧。文章末尾有实战项目效果截图及代码截图可参考 1.概要 Navigation是路由导航的根视图容器Navigation组件主要包含​导航页(NavBar)和子页(NavDestination),导航页不存在页面栈中&am…

tcpdump抓包 wireShark

TCPdump抓包工具介绍 TCPdump,全称dump the traffic on anetwork,是一个运行在linux平台可以根据使用者需求对网络上传输的数据包进行捕获的抓包工具。 tcpdump可以支持的功能: 1、在Linux平台将网络中传输的数据包全部捕获过来进行分析 2、支持网络层…