ChemLLM化学大模型再升级,AI助力化学研究

ChemLLM 介绍

ChemLLM 系列模型 是由上海人工智能实验室基于InternLM2 开发的首个兼备化学专业能力和对话、推理等通用能力的开源大模型。相比于现有的其他大模型,ChemLLM 对化学空间进行了有效建模,在分子、反应和其他领域相关的化学任务上表现优异。

上海人工智能实验室 AI for Science 团队基于自建 ChemData 化学专业数据集,在本年初发布的浦科·化学基础上,更新发布了 ChemLLM-1.5 化学大模型,并在新构建的 ChemBench 测评数据集上进行了全面的测评。更新后,ChemLLM 在核心化学任务上的效果与 GPT-4 相当,而在通用任务上与尺寸相近的语言模型难分伯仲。

科学大语言模型的机遇与挑战

大型语言模型已在图像处理、文字识别、视频制作等多个领域展现出卓越的能力,并已成功应用于化学研究,为科学研究和生产提供支持。目前的研究主要依赖于大型语言模型调用专业化学工具来解决具体的化学问题。然而,直接将化学知识集成到语言模型中,仍然存在以下挑战:

  • 结构化数据的限制: 大多数化学信息和知识存储在结构化数据库中,直接使用这些数据训练 LLM 可能会损害模型处理自然语言的能力,使得模型的对话和逻辑推理能力发生退化;

  • 特殊的化学信息学表示: 化学信息学中,分子用特殊符号表示,如 SMILES。这类数据往往不符合自然语言的规范,因此常规的语言模型难以正确理解和生成这种符号;

  • 化学数据和任务的多样性: 化学数据和任务种类繁多,设计一个灵活并能泛化到多种化学任务上的训练流程十分困难。

ChemLLM 的技术核心

为解决上述困难,研究人员采用两阶段指令微调框架对模型进行训练。第一阶段中,研究人员使用开源的 Multi-Corpus 通用语料数据集进行指令微调,赋予 InternLM2-base 的基座模型以通用语言能力;第二阶段中,研究人员将构造的 ChemData 专业数据集与部分通用语料数据集混合对模型进行二次指令微调,在保有模型通用语言、推理能力不受损害的前提下,注入化学知识。

经过两个阶段的训练,模型的通用能力被激发并保留,同时 ChemLLM 有效地建模了化学空间,具有解决复杂的化学问题的潜力。

ChemLLM 能力测评

研究人员运用构建的 ChemBench 测评数据集,在在分子名称转换、分子描述、分子性质预测、分子生成、化学反应产物预测、产率预测、逆合成分析、溶剂预测、温度预测共九大专业化学任务上测试了 ChemLLM。同时选取了 LLaMA2-7B、Mistral-7B、ChatGLM3-6B、Owen-7B、InterLM2-chat-7B,共五个规模相近的语言大模型,和超大通用语言模型 GPT-3.5和 GPT-4,与 ChemLLM进行了比较。

在所有九个化学任务中,ChemLLM显著地超越了五个同规模大模型和通用超大模型 GPT-3.5,在基于文本的分子生成、名称转换、性质预测、温度预测、产率预测、逆合成分析六个任务上能够媲美于 GPT-4,证明了 ChemLLM对化学空间的有效学习。

研究人员也采集并开源了中高考化学测试数据集,连同其他三个公开通用评测数据集上一起,对上述大模型进行了通用知识评测。这四个数据集的测试内容包括中英文多学科认知性知识测试、数学推理能力测试、基础化学能力等,全面考察模型的综合认知和逻辑推理。结果证明,ChemLLM的通用能力达到主流大语言模型水平。

相关链接

  • 代码与模型权重开源:

    https://huggingface.co/AI4Chem

  • 数据集下载:

    https://opendatalab.com/AI4Chem/ChemData700K

  • 模型下载:

    https://openxlab.org.cn/models/detail/OpenScienceLab/ChemLLM-7B-Chat-1.5-SFT

  • 应用体验:https://chemllm.org/https://openxlab.org.cn/apps/detail/OpenScienceLab/ChemLLM

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/393734.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解决戴尔台式电脑休眠后无法唤醒问题

近期发现有少量戴尔的台式机会有休眠后无法唤醒的问题,具体现象就是电脑在休眠后,电源指示灯以呼吸的频率闪烁,无论怎么点鼠标和键盘都没有反应,并且按开机按钮也没法唤醒,只能是长按开机键强制关机再重启才行&#xf…

leetcode 958.二叉树的完全性检验

1.题目要求: 给你一棵二叉树的根节点 root ,请你判断这棵树是否是一棵 完全二叉树 。在一棵 完全二叉树 中,除了最后一层外,所有层都被完全填满,并且最后一层中的所有节点都尽可能靠左。最后一层(第 h 层)…

YOLOv8改进 | 主干网络 | 将backbone替换为MobileNetV4【小白必备教程+附完整代码】

秋招面试专栏推荐 :深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 💡💡💡本专栏所有程序均经过测试,可成功执行💡💡💡 专栏目录 :《YOLOv8改进有效…

Linux PCI和PCIe总线

1 PCIe中断 - PCI/PCIe设备中断都是level触发,并且请求信号为低电平有效 - PCI总线一般只有INTA#到INTD#的4个中断引脚,所以PCI多功能设备的func一般不会超过4个,但是共享中断除外 2 IOMMU 2.1 ARM SMMU v2 Refer to my blog ARM SMMU v2. 2.…

【机器学习】重塑游戏世界:机器学习如何赋能游戏创新与体验升级

📝个人主页🌹:Eternity._ 🌹🌹期待您的关注 🌹🌹 ❀目录 🔍1. 引言:游戏世界的变革前夜📒2. 机器学习驱动的游戏创新🌞智能化游戏设计与开发&…

OJ-0807

题目 参考 import java.util.ArrayList; import java.util.List; import java.util.Objects; import java.util.Scanner;public class Main {public static void main(String[] args) {Scanner in new Scanner(System.in);String input in.nextLine();String[] numStrs inp…

身体出现这5种异常,可能是甲状腺在求救,千万别扛着!

甲状腺,被誉为人体新陈代谢的“发动机”,是调节我们身体能量和代谢的重要器官。然而,当甲状腺出现问题时,它往往会通过身体的一些异常信号向我们求救。北京精诚博爱医院张维一主任提醒:以下是五种常见的甲状腺异常表现…

您知道Jmeter中Redirect Automatically 和 Follow Redirects的使用场景吗?

相信很多使用过jmeter的同学都没有关注过请求中的Redirect Automatically 和 Follow Redirects选项,如下图: 在 JMeter 中,Redirect Automatically 和 Follow Redirects 是与 HTTP 请求重定向相关的两个选项,它们之间是有很大区别…

速度规划之:起点速度和终点速度不为零的非对称梯形速度规划

起点速度和终点速度不为零的非对称梯形速度规划 一、引言二、理论基础1. 梯形速度规划概述2.数学建模- 变量定义- 约束关系- 公式推导 三、计算过程1.只存在减速段2.只存在加速段3.存在加速段和减速段4.存在加速度段、匀速段和减速段 四、仿真实现五、优缺点优点缺点 六、总结 …

亚马逊等跨境电商平台怎么找到好的测评资源?

如何找到好的测评资源呢? 目前常规卖家找测评资源主要通过以下途径: 联系自己在海外的亲友帮忙测评,不过海外的亲友会比较有限安排业务员在facebook等社交平台找老外测评,但社交平台找老外很难掌控留评时效,甚至会遇…

破解USB设备通讯协议实现自定义软件控制的步骤与方法

在设备和计算机之间通过USB进行通讯的情况下,厂家提供的软件可以控制设备,但没有提供任何其他资料和支持,这种情况下,若希望自行开发软件来实现同样的功能,可以通过以下步骤破解通讯协议并开发自定义程序。 1. 捕获US…

2-57 基于matlab 实现了气缸的充气和放气的仿真

基于matlab 实现了气缸的充气和放气的仿真,在等温情况和绝热两种情况下分别进行了仿真,并给多变过程下的理论计算公式。程序已调通,可直接运行。 2-57 matlab 气缸充气和放气仿真 - 小红书 (xiaohongshu.com)

【论文阅读】PETRv2: A Unified Framework for 3D Perception from Multi-Camera Images

Q: 论文如何解决这个问题? A: 论文通过提出PETRv2框架来解决多相机图像的3D感知问题,具体方法包括以下几个关键点: 时间建模(Temporal Modeling): 通过3D坐标对齐(3D Coordinates Alignment&…

ASP.Net Core设置接口根路径的方法

使用asp.net core开发微服务项目,需要给每个服务设置不同的根路径,这样既能使用网关转发请求,又方便对单个服务进行测试,保证请求路径的统一。 设置方法需要使用中间件,在Program.cs添加如下代码 app.UsePathBase(&qu…

通过ZRender画一个大屏的顶部样式标题

介绍:通过ZRender画一个大屏项目的顶部样式,在其中放入大屏的标题。ZRender 是二维绘图引擎,它提供 Canvas、SVG、VML 等多种渲染方式。ZRender 也是 ECharts 的渲染器。 一、下载 npm install zrender终端输入以上命令下载包即可。 二、导…

记忆化搜索——1

目录 1.斐波那契数 2.不同路径 3.最长递增子序列 4.猜数字大小2 5.矩阵中的最长递增路径 1.斐波那契数 该题规律很明显,就直接放记忆化搜索的版本了 class Solution { public:int dfs(int n){if(n0||n1)//递归出口{return n;}if(f[n-1]-1)//检查是否已经记忆过…

JVM 加载阶段 Class对象加载位置是在 堆中还是方法区?

在JVM(Java虚拟机)的类加载过程中,Class对象的加载位置涉及到堆(Heap)和方法区(Method Area)两个关键区域。具体来说,类的加载阶段涉及到将类的.class文件中的二进制数据读入到内存中…

黑丝或者白丝,都可以用LoRA(Stable Diffusion进阶篇:ComfyUI 附加网络)

前言 在学习WebUI的那些基础知识点的时候,有一个东西是每一个初学者都绕不开的大山-附加网络。 这个东西对于每一个接触Stable Diffusion的小伙伴来说就像是小学门口小卖部卖的辣条、初中课本上的涂鸦、高中数学卷解不开的最后一道大题。 学习过WebUI里Stable Di…

揭秘亚马逊新手快速成长背后的秘密:从入门到精通

在亚马逊这个充满机遇与挑战的市场平台上,作为一名深耕多年的卖家,我积累了宝贵的经验和见解。随着市场环境的不断变化,我意识到,无论是新加入的创业者还是经验丰富的老手,都需要不断学习和适应,以在这个平…

游戏行业报告(一)| 中国占全球头部上市游戏企业34%,“智能NPC”竞争方向较受关注

近日,伽马数据发布了《2024中国上市/非上市游戏企业竞争力报告》,本篇文章仅采用《2024中国上市/非上市游戏企业竞争力报告》的部分数据。由于文章太长,所以分了下集,大家可以收藏关注~ 企业全球资本市场竞争现状 全球TOP50上市游…