剑桥华人团队搞出多模态医学大模型!单个消费级显卡就能部署,借鉴斯坦福「羊驼」而来...

衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

ChatGPT、AutoGPT能干那么些事,好想知道大模型啥时候才能看病,救我本人狗命?

带视觉的多模态医学基础大模型,它来啦~

名为Visual Med-Alpaca,官宣即开源。

43b3a864bb6fc525d69e5f2612fb19b8.jpeg

这个专为生物医学领域设计的基础模型,构建于LLaMa-7B之上,还在一定程度上借鉴了Visual-ChatGPT和Alpaca(羊驼)。

因为参数量相对较小,所以使用单个消费级GPU就能轻松部署和运行。

给小羊驼披上白大褂的背后团队,主要成员来自剑桥大学语言技术实验室(CambridgeLTL,Language Technology Lab at the University of Cambridge),以及一位MIT背景的中国小哥

披上白大褂的羊驼

披上白大褂的小羊驼,望闻问切的实际效果如何?

带着疑问,我们把同样的考题(根据模态能力)丢给了Visual Med-Alpaca、Glass AI(提供诊断和临床建议的生成式AI应用)、VQA Medical Model(医学影像语言模型)、MOSS以及GPT-4。

看X光片能力

既然是多模态LLM,测试时自然不能放过这部分。

丢给他一张胸部X光片,并且提问:X光片显示了这人有啥毛病?该咋办?

Visual Med-Alpaca给出的答案是这样的:

在胸部X光片中看到的双侧浸润和双侧胸腔积液,可能表明呼吸道感染或其他呼吸系统疾病,例如肺炎肺水肿或胸腔积液,重要的是咨询医疗专业人员以进行正确诊断和治疗计划。

740c3393ebd08d4b7aefb06c109119e8.png

而参赛选手中另一名能读图看病的VQA Medical Model,回答就两个字:

褥疮(the decubitus)。

d9d34cbbfff034f29560bd5f9c98aab8.gif

提供用药建议

鉴于能够读图看病的LLM应用太少,后续测试都只采用纯文字模式。

第一个问题:我头发掉到快秃了,有啥药可以救救孩子?

Visual Med-Alpaca列出了5种药物,顺带解释了一下用法和对应病症。

  • 1、米诺地尔:一种用于头皮以促进头发生长的药物。

  • 2、非那雄胺:一种口服药物,可减缓二氢睾酮 (DHT) 的产生,DHT 是一种可导致脱发的激素。

  • 3、皮质类固醇:可涂抹在头皮上以减轻炎症和促进毛发生长的外用药物。

  • 4、蒽林:一种应用于头皮的药物,通过刺激滋养毛囊的血细胞的产生来促进头发生长。

  • 5、酮康唑:一种应用于头皮的药物,用于治疗可导致脱发的真菌感染。在使用任何这些化学物质治疗脱发之前。

  • 请务必咨询医疗保健专业人员,因为它们可能有潜在的副作用并且可能并不适合所有人。

(感觉有人跟我一样需要,所以特地翻译后列出,狗头.jpg)

4d49d3b292da1fe84851e8e35b01a638.png

Glass AI对这个问题的回答,给出的诊疗方案是米诺地尔和非那雄胺。

3d494d9b775bbe0f8bd6730de0353d23.png

深孚众望的ChatGPT,也给出了5种用药:

(由于一些不可描述的原因,对第3种表示婉拒了哈)

19b5d2c6eba0ddddf93209c024c5ad00.png

第二个问题:如何检测2型糖尿病?

Visual Med-Alpaca给出了5种测试办法,包括空腹血糖测试、口服葡萄糖耐量测试等。

c20b66bae99276f32035fe9762c91371.png

Glass AI给出的建议包含了此前的5种方案,然后额外有一种脂质谱。

b2b374daa0cb3492c501e5368add959d.png

ChatGPT给出的测试办法少了一种,但也举例了多种方法。

2e72632f54f6fb198583d7eb5067b0f6.png

体验结果来看,Visual Med-Alpaca在医学领域确实普遍表现更好,Glass AI也很有不错的表现,但吃亏在无法进行多模态的生成。

Visual Med-Alpaca

而从技术层面来看,Visual Med-Alpaca构建于Meta开源的LLaMa-7B之上,是比较轻量级的一个模型,易于本地化部署,并降低微调成本。

据团队成员解释,整个模型还参考了Visual-ChatGPT和Alpaca。也就是说,整个模型及其架构层面没有太大创新

基于这个问题,团队成员对量子位的回答是:

毕竟全天下basically Transformer,哈哈哈哈哈哈。

Visual Med-Alpaca的整体工作原理,就是使用prompt管理器,将文本和视觉两种模态的信息合并到prompt中,从而生成具有生物医药专业知识的回答。

首先,图像input被送入类型分类器,识别出把视觉信息转换为中间文本格式的适当模块,然后加入文本input,用于后续推理过程。

为了让医学图像更适合输入,这一步涉及了集成视觉基础模型DEPLOT和Med-GIT。

然后,prompt管理器从图像和文本input中提取到的文本信息,合并到Med-Alpaca的prompt中,最后生成具有生物医学领域专业知识的回答。

4f343387042878029804407d362196bf.png

训练过程中,为了更好地让生物医学知识和视觉模态在LLaMA-7B中结合,团队使用了两个不同的数据集进行微调。

一个是54000个生物医学示例问答对组成的模型生成数据集,负责执行标准微调和低秩自适应 (LoRA) 微调;另一个是Radiology Objects in Context (ROCO) 数据集,在其上微调了Microsoft GIT模型,用来合并视觉模态。

这里还运用了GPT-3.5-turbo的NLP能力,从各种医学数据集中收集、查询,最后综合生成更符合人类对话习惯的结构化答案。

在体验过程中不难发现,所有的回答最后,Visual Med-Alpaca都会附上一句叮嘱,大致内容是:

“鉴于风险因素的存在,可以结合你的个人健康史去看看医生哈~”

究其缘由,团队解释这是一个学术合作项目,而非商业化模型。

团队强调,为Visual Med-Alpaca评估划定能力边界非常重要。模型虽然通过insruct-tuning,对整体的专业性进行了增强,让模型在生物医疗领域更倾向于保守作答,但无法完全避免大模型的幻觉现象。

所以开源页中也加粗标出了“Visual Med-Alpaca严格用于学术研究,在任何国家都没有合法批准将其用于医疗用途”。

2名剑桥老师+4名华人小哥

Visual Med-Alpaca项目背后,是两位剑桥老师和四名华人小哥。

带队老师是CambridgeLTL联合主任、剑桥NLP教授Nigel Collier,他在NLP和AI领域研究25年有余,现在也是艾伦图灵研究所研究员。

db9e16eaa7d3ce02833b1516071ede9c.png

共同一作Chang Shu,CambridgeLTL博一在读,导师是Nigel Collier。此前,他在爱丁堡大学完成本硕学业。

目前的研究领域集中在LLM的安全性和可解释性方面。

共同一作Baian Chen,本科毕业于MIT计算机系,从事AI方向的研究。他的目前身份是Ruiping Health创始人。

Fangyu Liu,CambridgeLTL博三在读,师从Nigel Collier。在进入剑桥大学攻读硕士学位之前,他在滑铁卢大学就读计算机科学本科。

Zihao Fu,CambridgeLTL助理研究员、博士后,同样是Nigel Collier的学生。在此之前,他博士毕业于香港中文大学,师从Wai Lam教授;本硕阶段则就读于北京航空航天大学。

以及还有一位Ehsan Shareghi,他是剑桥大学的兼职讲师,同时是莫纳什大学数据科学与人工智能系的助理教授,之前有在伦敦大学电气与电子工程系的工作经历。

研究兴趣包括探究和增强预训练大模型。

d9e9ede775e2dd7a8b29d1e51cacb122.png

GitHub:https://github.com/cambridgeltl/visual-med-alpaca/tree/main/code
参考链接:https://cambridgeltl.github.io/visual-med-alpaca/

— 联系作者 —

276ffaf0041fe4c5f3de04c9a3599fa3.png

《中国AIGC算力产业全景报告》征集启动

AIGC算力需求爆发,谁将在此次算力产业变革中脱颖而出?

量子位《中国AIGC算力产业全景报告》《最值得关注的AIGC算力玩家》正式启动对外征集,期待有更多优秀的机构产品、案例与技术能够被大众看到。

f0f7673fbc4e01ced384d9f8c66ba668.png

点这里👇关注我,记得标星哦~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/15624.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

技术动态 | 也看大模型在事理图谱中的有趣表现:从概率链式因果搜索到因果抽取再到指令驱动的图谱构建评测...

转载公众号 | 老刘说NLP 事理图谱是过去一年来比较火的一个方向,其靠着主打推理预测这一特点,通过构建以事件为核心,事件之间因果等关系,形成传导推理链,一度被认为大有可为。 但目前大模型席卷之下,事理图…

PPO算法基本原理及流程图(KL penalty和Clip两种方法)

PPO算法基本原理 PPO(Proximal Policy Optimization)近端策略优化算法,是一种基于策略(policy-based)的强化学习算法,是一种off-policy算法。 详细的数学推导过程、为什么是off-policy算法、advantage函数…

达摩院用128张GPU烧出“中文版GPT-3”,我试了下,这文风不是开往幼儿园的车…...

杨净 子豪 发自 凹非寺 量子位 报道 | 公众号 QbitAI 首先,请先看一段“正经”的文字: 他笑意中的那份温柔,只想给她好好珍藏,即便这一切不会发生,至少在他的世界里,她是无忧无虑的快乐的。就连他对她的关心…

洞察ChatGPT巨大价值,云知声积极推动行业版ChatGPT落地

近日,ChatGPT的风越刮越猛,不由让人好奇,作为“能说会道”的ChatGPT,能够运用在专业性更高的行业?遗憾的是,从目前ChatGPT给出的答案来看,它距离运用在医疗等专业领域尚有距离。对此&#xff0c…

ChatGPT提示词工程师教程-迭代

不要奢求“一针见血”,要不断打磨,形成良好的提示词迭代流程。多维度,多样本。就像用搜索引擎一样,第一次搜索没有得到想要的结果,就要对搜索的关键词进行修。参考“指南”,想想是否提示词不够清晰&#xf…

ChatGPT 提示的艺术 —— 如何编写清晰有效提示指南

ChatGPT 提示的作用 正如我们之前提到的那样,ChatGPT 对话中使用的提示的质量可以显著影响对话的成功。定义清晰的提示可以确保对话保持在正确的轨道上,并涵盖用户感兴趣的主题,从而产生更引人入胜和信息丰富的体验。 那么什么样的 ChatGPT…

给开发者的ChatGPT提示词工程指南

【中文完整版全9集】第1集 引入-ChatGPT提示词工程师教程 吴恩达xOpenAI官方 【OpenAI官方 | 中文完整版】 吴恩达ChatGPT提示工程师初级到高级(AI大神吴恩达教你写提示词) ChatGPT Prompt Engineering for Development 基础大语言模型和指令精调大语言…

量子退火?这又是啥?居然撑起了第一家量子计算公司

组合优化问题,在应用数学和理论计算机科学领域,指的是在一个有限的对象里集中找出最优对象的一类课题。这类问题特征是可行解的集是离散或者可以简化到离散结果,并且目标是要找到最优解。当前,常见的组合优化问题通用版上包括旅行…

光量子计算公司宣布成立加拿大首个量子网络,大力推进量子创新

加拿大量子网络 光子量子计算的领导者Xanadu今天宣布与MaRS和Creative Destruction Lab(CDL)合作创建加拿大量子网络(CQN)。 CQN着手于加拿大多伦多的Xanadu、MaRS和CDL三个节点,为合作组织提供量子测试平台&#xf…

谷歌用量子处理器发现:光子能在混沌中保持稳健的束缚态

一圈超导量子比特可以容纳微波光子的“束缚态”,其中光子往往聚集在相邻的量子比特位点上。图片来源:Google Quantum AI 使用量子处理器,研究人员可以使微波光子具有异常的“粘性”。在诱使它们聚集成束缚态后,他们发现这些光子簇…

基于量桨搭建AI量子通信模拟平台,优化量子通信协议

点击左上方蓝字关注我们 项目背景 现阶段量子通讯协议的设计和优化依然停留在人工处理的阶段,距离迈向系统化工程处理依然有着不小的距离。导致目前量子通讯协议从研发到实验验证这一整套流程面临着周期长、成本高等问题。系统化的搭建模拟平台和引入先进的人工智能…

量子模拟器中的“弯曲时空”

光子盒研究院出品 当你想解释宇宙尺度的现象时,相对论很有效:比如黑洞碰撞时产生的引力波;量子理论在描述粒子尺度的现象时效果很好(比如原子中单个电子的行为)。但是,将这两者以一种完全令人满意的方式结合…

量子保密通信应用与技术探讨

源自: 信息通信技术与政策 作者:程明 张成良 唐建军 量子密钥在线与离线结合分发模式的应用范围不再局限于QKD网络的覆盖和能力,使得量子保密通信的应用场景得到较大拓展。 摘要 近年来,基于量子密钥分发的量子保密通信在应用方面进行了…

Infleqtion与Morningstar合作探索量子计算的新途径

(图片来源:网络) 量子计算服务商Infleqtion宣布,将Infleqtion的旗舰量子软件SuperstaQ整合到Morningstar投资和投资组合分析平台Morningstar Direct中。借助SuperstaQ的整合,通过Morningstar的实验室分析模块&#xff…

量子通信是不是伪科学?潘建伟这样回应

来源:科技日报 “墨子号”发射快三年了,到底有什么新发现?量子通信和公众有什么关联,到底是不是伪科学?10日,在全国政协十三届二次会议举行的记者会上,全国政协委员、中国科学技术大学常务副校长…

“走近”量子模拟

来源:中国军网 作者:张媛、张远、达平 当下,量子计算在先进材料以及生物化学模拟方面正崭露头角。因为量子力学解释了这些材料的基本物理特性,量子计算非常适合进行模拟。那么,什么是量子模拟?量子模拟有什…

“量子计算+通信”!玻色量子与中国移动研究院强强联合

​2023年3月12日,北京玻色量子科技有限公司(后文简称“玻色量子”)与中国移动通信有限公司研究院(后文简称“中国移动研究院”)达成合作,中国移动研究院院长黄宇红与玻色量子创始人&CEO文凯博士在玻色量…

量子信息技术(QIT)

信息技术IT(Information Technology),比特(bit)——20世纪的技术革命量子信息技术QIT(Quantum Information Technology),量子比特(qbit)——21世纪的技术革命量子信息论在科学方面有着深远的影响,改造量子力学基础,加速变革时空观,加深对定域…

谷歌前量子部门“单飞”,正式成立量子软件公司Sandbox AQ

(图片来源:网络) 3月2日, 量子计算机与量子集成电路开发商Rigetti Computing宣布完成SPAC正式在纳斯达克挂牌上市。与此同时,另外两家量子计算领域的领导者IonQ、D-wave也在火速筹备上市前的准备工作。 现在&#xff0…

ChatGPT的发展,需要量子算力......

光子盒研究院出品 自去年 11 月上线以来,ChatGPT 已被无数人使用,人们一直要求以各种形式让这个大语言模型接入更多数据。3月23日,基于GPT-4的新一代代码生成工具Copilot X正式推出;3 月 24 日,OpenAI 终于宣布部分解除…