统一大语言模型和知识图谱:如何解决医学大模型-问诊不充分、检查不准确、诊断不完整、治疗方案不全面?

统一大语言模型和知识图谱:如何解决医学大模型问诊不充分、检查不准确、诊断不完整、治疗方案不全面?

    • 医学大模型问题
    • 如何使用知识图谱加强和补足专业能力?
      • 大模型结构
      • 知识图谱增强大模型的方法

 

医学大模型问题

问诊。偏离主诉和没抓住核心。

  • 解决方案:建立抗干扰的能力,使得发现用户问题会一追到底。

检查。大模型最大的问题就是它的模糊和宽泛,给出的检查方案经常有缺失和缺漏。

  • 解决方案:检查项目和诊断做关联,结合相应检查证据的类型和证据等级,给患者设计更加精准和高效的检查辅助方案

诊断。之前大模型只能给出一个方向性的诊断。在真实世界的临床应用实践上,最后要给出具体疾病的临床分型和分期。

  • 解决方案:从教科书和临床指南中提炼

治疗。大模型给出的治疗方案往往也是偏方向性的。

  • 解决方案:从教科书和临床指南中把治疗方案和治疗手段与诊断进行关联,以及在不同的疾病分期、分型下诊断方法和诊断的适用条件等综合考虑,辅助设计一个更加精准的治疗方案

医学大模型相当于一个模式识别系统,能迅速反应出 XX 特征 是 XX 疾病。

但是 ta 做不到完备的、全流程的医生治疗过程。

我们需要给 ta 引入结构化的完备能力。

从结构的角度出发,利用整体和部分的关系,有序地思考,正确决策,更有助于深度分析思考。

实现方式是,构建:

  • 指南上的知识点结构化(知识图谱1)
  • 临床上的解题思路结构化(知识图谱2)
  • 疾病上的全流程管理结构化(知识图谱3)
  • 错题上的结构化(知识图谱4)
  • 多模态的结构化(知识图谱5)

同时使用 5 种知识图谱,才能让医学大模型有完备的诊断能力:

  • 从家庭医生,到专科水平
  • 从模式识别,到完备的全流程诊断
  • 从不可控不稳定不可解释的黑盒,变成可控稳定可解释的
  • 能根据反馈,不断修订知识

这种结构化的完备能力,我们能通过 5 种专业的知识图谱实现。

如何使用知识图谱加强和补足专业能力?

论文地址:https://arxiv.org/pdf/2306.08302.pdf

大模型结构

现在的 大模型 可以分为:

  • 1)Decoder-only LLMs:仅采用解码器模块来生成目标输出文本。很多decoder-only的LLMs(如GPT4)通常可以根据少量示例或简单指令执行下游任务,而无需添加预测头或微调。模型的训练范式是预测句子中的下一个单词。
  • 2)Encoder-Decoder LLMs:用编码器和解码器模块。编码器模块负责将输入句子进行编码,解码器用于生成目标输出文本。编码器-解码器LLM(如ChatGLM)能够直接解决基于某些上下文生成句子的任务,例如总结、翻译和问答
  • 3)Encoder-only LLMs:仅用编码器对句子进行编码并理解单词之间的关系(如BERT),训练模式预测句子中的掩码词语,需要添加额外的预测头来解决下游任务,胜在自然语言理解任务(如文本分类、匹配)

知识图谱增强大模型的方法

当你问 熊是什么样的动物?:

  • 语言模型:熊是一种大型哺乳动物,只能给你一个笼统的答案。
  • 知识图谱 + 语言模型可以回答:“熊是一种大型哺乳动物,通常有厚重的毛皮,强壮的身体和大而强壮的爪子。它们喜欢生活在森林中,以植物、鱼和昆虫为食。”

知识图谱增强 分为三部分:

  • 增强的LLM预训练

    将KGs引入训练目标,设计知识导向的训练目标

    将KGs整合到LLM输入中

    将KGs纳入到额外的融合模块中,设计单独处理KGs的模块。

  • 增强的LLM推理

  • 增强的LLM可解释性

正在更新…

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/220679.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

scrapy的入门和使用

scrapy的入门使用 学习目标: 掌握 scrapy的安装应用 创建scrapy的项目应用 创建scrapy爬虫应用 运行scrapy爬虫应用 scrapy定位以及提取数据或属性值的方法掌握 response响应对象的常用属性 1 安装scrapy 命令:     sudo apt-get install scrapy 或者&#x…

OpenCV技术应用(7)— 将图像转为热力图

前言:Hello大家好,我是小哥谈。本节课就手把手教大家如何将一幅图像转化成热力图,希望大家学习之后能够有所收获~!🌈 目录 🚀1.技术介绍 🚀2.实现代码 🚀1.技术介绍 伪彩色处…

[Excel] vlookup函数

VLOOKUP用法 VLOOKUP(lookup_value, table_array, col_index_num, [range_lookup])其中: lookup_value是你要查找的值table_array是你要在其中进行查找的表格区域col_index_num是你要返回的在table_array中列索引号range_lookup是一个可选参数,用于指定…

IDEA出现闪退或打不开的解决方法

目录 1. 问题所示2. 原理分析3. 解决方法4. 补充1. 问题所示 打开IDEA的时候过一会便闪退,可以再IDEA的右下角看到如下提示 (如果没有该提示,软件右下角也会有个红色感叹号,点开查看原因即可) 点开details方便排查闪退的具体原因: There is insufficient memory for the…

Nginx location+Nginx rewrite(重写)(新版)

Nginx locationNginx rewrite(重写) Nginx locationNginx rewrite(重写)一、location1、常用的Nginx 正则表达式2、location的类型3、location 的匹配规则4、location 优先级5、location 示例说明5.1只修改网页路径5.2修改nginx配置文件和网页路径5.3一般前缀5.4正则匹配5.5前缀…

Leetcode—11.盛最多水的容器【中等】

2023每日刷题&#xff08;六十三&#xff09; Leetcode—11.盛最多水的容器 实现代码 #define MAX(a, b) ((a) > (b) ? (a) : (b)) #define MIN(a, b) ((a) < (b) ? (a) : (b)) int maxArea(int* height, int heightSize) {int left 0, right heightSize - 1;int m…

electron与cesium组件入门应用功能

electron与cesium组件入门应用功能 运行应用效果图&#xff1a; electron应用目录&#xff0c;需要包括三个文件: index.html main.js package.json (一)、创建一个新项目 目录名称&#xff1a;project_helloWolrd (二)、生成package.json文件 npm init --yes(三&#x…

ChatGPT引领AI时代:程序员、项目经理、产品经理、架构师、Python量化交易师的翅膀

&#x1f482; 个人网站:【 海拥】【神级代码资源网站】【办公神器】&#x1f91f; 基于Web端打造的&#xff1a;&#x1f449;轻量化工具创作平台&#x1f485; 想寻找共同学习交流的小伙伴&#xff0c;请点击【全栈技术交流群】 在当今AI时代&#xff0c;ChatGPT作为一项卓越…

多架构容器镜像构建实战

最近在一个国产化项目中遇到了这样一个场景&#xff0c;在同一个 Kubernetes 集群中的节点是混合架构的&#xff0c;也就是说&#xff0c;其中某些节点的 CPU 架构是 x86 的&#xff0c;而另一些节点是 ARM 的。为了让我们的镜像在这样的环境下运行&#xff0c;一种最简单的做法…

Unity SRP 管线【第四讲:URP 阴影】

URP 全文源码解析参照 引入 在UniversalRenderer.cs/ line 505行处 此处已经准备好了所有渲染数据&#xff08;所有数据全部存储在了renderingData中&#xff09; 我们只用renderingData中的数据初设置mainLightShadows bool mainLightShadows m_MainLightShadowCasterPass…

SVM —— 理论推导

SVM 支持向量线性可分最大间隔超平面最大间隔超平面的推导支持向量分类间隔的推导最优化问题 对偶问题拉格朗日乘子法强对偶性 SVM 优化软间隔解决问题优化目标及求解 核函数线性不可分核函数的作用常见核函数 SVM 算法优缺点 支持向量机&#xff08;Support Vector Machine&am…

AR室内导航如何实现?技术与原理分析

随着科技的进步&#xff0c;我们生活中许多方面正在被重新定义。其中之一就是导航&#xff0c;尤其是室内导航。增强现实&#xff08;AR&#xff09;技术的出现为室内导航带来了革命性的变革。本文将深入探讨AR室内导航的技术与原理&#xff0c;以及它如何改变我们的生活方式。…

【组合数学】生成函数

目录 1.形式幂级数2.生成函数性质3.生成函数求解递推关系4.生成函数在计数问题中的应用 1.形式幂级数 生成函数是解决计数问题的一种有效方法&#xff0c;它的中心思想是&#xff1a;对于一个有限或无限数列 a 0 , a 1 , a 2 , . . . {a_0,a_1,a_2,...} a0​,a1​,a2​,...&am…

数据分析的基本步骤

了解过数据分析的概念之后&#xff0c;我们再来说下数据分析的常规步骤。 明确目标 首先我们要确定一个目标&#xff0c;即我们要从数据中得到什么。比如我们要看某个指标A随时间的变化趋势&#xff0c;以期进行简单的预测。 数据收集 当确定了目标之后&#xff0c;就有了取…

SQL Server 查询处理过程

查询处理--由 SQL Server 中的关系引擎执行&#xff0c;它获取编写的 T-SQL 语句并将其转换为可以向存储引擎发出请求并检索所需结果的过程。 SQL Server 需要四个步骤来处理查询&#xff1a;分析、代化、优化和执行。 前三个步骤都由关系引擎执行&#xff1b;第三步输出的是…

camera曝光时间

曝光和传感器读数 相机上的图像采集过程由两个不同的部分组成。第一部分是曝光。曝光完成后&#xff0c;第二步就是从传感器的寄存器中读取数据并传输&#xff08;readout&#xff09;。 曝光&#xff1a;曝光是图像传感器进行感光的一个过程&#xff0c;相机曝光时间&#xf…

深度学习中的潜在空间

1 潜在空间定义 Latent Space 潜在空间&#xff1a;Latent &#xff0c;这个词的语义是“隐藏”的意思。“Latent Space 潜在空间”也可以理解为“隐藏的空间”。Latent Space 这一概念是十分重要的&#xff0c;它在“深度学习”领域中处于核心地位&#xff0c;即它是用来学习…

和葡萄酒时为什么要写品酒笔记?

如果你不把你的想法写下来&#xff0c;它们可能会在你离开房间之前就离开你的大脑。写笔记&#xff0c;包括令人难忘的品酒笔记&#xff0c;它是关于记录一些超越今天和明天的有意义的事情。这是你的记忆葡萄酒&#xff0c;对你来说最相关、最有区别的就是最重要的。最后&#…

桌面概率长按键盘无法连续输入问题

问题描述&#xff1a;概率性长按键盘无法连续输入文本 问题定位&#xff1a; 系统按键流程分析 图一 系统按键流程 按键是由X Server接收的&#xff0c;这一点只要明白了X Window的工作机制就不难理解了。X Server在接收到按键后&#xff0c;会转发到相应程序的窗口中。在窗…

CogVLM与CogAgent:开源视觉语言模型的新里程碑

引言 随着机器学习的快速发展&#xff0c;视觉语言模型&#xff08;VLM&#xff09;的研究取得了显著的进步。今天&#xff0c;我们很高兴介绍两款强大的开源视觉语言模型&#xff1a;CogVLM和CogAgent。这两款模型在图像理解和多轮对话等领域表现出色&#xff0c;为人工智能的…