最新多模态模型MiniGPT-4 开源 | 提前感受GPT-4的识图能力 | 基于Vicuna构建的LLM | 能够生成图片描述 | 根据手写文本指令构建网站

概述

最新多模态模型MiniGPT-4 开源:它使用先进的大型语言模型 (LLM)--Vicuna(其中 Vicuna 是基于 LLaMA 构建的)进行调优,在文本语言方面可以达到 ChatGPT 能力的90%。在视觉感知方面,作者采用了与BLIP-2相同的预训练视觉组件,其中该组件由EVA-CLIP的ViT-G/14和Q-Former组成。MiniGPT-4 只添加了一个映射层,将编码的视觉特征与Vicuna语言模型对齐,冻结了所有视觉和语言组件参数。

MiniGPT-4介绍

距离GPT-4 已经发布一个多月了,但识图功能还是体验不了。来自阿卜杜拉国王科技大学的研究者推出了类似产品 ——MiniGPT-4,大家可以上手体验了。

对人类来说,理解一张图的信息,不过是一件微不足道的小事,人类几乎不用思考,就能随口说出图片的含义。就像下图,手机插入的充电器多少有点不合适。人类一眼就能看出问题所在,但对 AI 来说,难度还是非常大的。 

GPT-4 则能很快的指出图中问题所在:VGA 线充 iPhone是不合适的。

其实 GPT-4 的魅力远不及此,更炸场的是利用手绘草图直接生成网站,在草稿纸上画一个潦草的示意图,拍张照片,然后发给 GPT-4,让它按照示意图写网站代码,GPT-4 就能很快把网页代码写出来了。

但遗憾的是,GPT-4 这一功能至今仍未向公众开放,想要上手体验也无从谈起。不过,已经有人等不及了,来自阿卜杜拉国王

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/32067.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2022年图灵奖颁给了76岁以太网之父!一篇失败的博士答辩论文,成就了互联网时代

【导读】2022年图灵奖得主,是以太网的先驱Bob Metcalfe。如今全世界5亿人之所以可以愉快地上网冲浪,都离不开他的发明。 就在昨晚,ACM公布了2022年度图灵奖获奖人选——以太网发明者Bob Metcalfe,以表彰他对以太网的发明、标准化…

CodeGeeX 2.0版本重大升级:通过聊天对话的方式直接操作代码

CodeGeeX 2.0版本正式上线!从命名上看这是一次大版本的升级。 上个月,CodeGeeX在VSCode和JetBrains IDEs的插件中,加入了智能问答(Ask CodeGeeX)功能,让用户可以在IDE中通过问答对话的方式解决技术问题。本…

亚马逊巴西站对中国商家正式开放试运营,如何快速提升销量

近日,亚马逊全球开店宣布,亚马逊巴西站对中国商家正式开放试运营,在亚马逊巴西站试运营期间,亚马逊卖家是能获得很多扶持的,比如说大量额外引流资源支持,营销方面,巴西卖家是可以使用优惠券&…

Lazada运营技巧是什么?想爆单的看过来!

很多Lazada卖家都希望能爆单,对引流十分关键,但是转化率却不高。明明投入了广告,但是没有效应。其实是因为Lazada运营方向不对,流量多不等于转化多。要正确的运营,才能让流量最大化,让转化率提高。也就是La…

2019如何操作亚马逊无货源店群?如何开店运营?

“工欲善其事必先利其器”,想要做好亚马逊无货源店群,首先我们需要知道什么是亚马逊无货源,它是怎样的一种运营模式?开店之前我们又应该准备些什么? 亚马逊无货源模式并不是说没有货源,它也是有货源存在的&…

沃尔玛、Shopee、亚马逊测评养号如何最大程度提高listing产品销量

打造一条优质的、有吸引力的listing对于每个做跨境电商的都很重要,那沃尔玛也不例外。产品的listing写得越好,就有可能获得更高的曝光和更高的转化!今天就跟大家讲一下沃尔玛listing优化的几大因素。Listing的优化不仅仅只有关键词的优化、文…

7个实用有效的shopify运营策略,跨境电商卖家必知

关键词:shopify运营、跨境电商卖家 您的Shopify 在线商店是使用当今最好的平台之一构建的。2022 年第二季度,Shopify 在美国电子商务平台中占据最大市场份额,约占美国所有在线业务的 32%。 这也意味着电子商务品牌之间的竞争比以往任何时候都…

亚马逊店铺运营的五个方法

作为世界级别的电商平台来讲,想要运营好亚马逊店铺肯定是需要很大的困难的,那么接下来我就要告诉你该怎样去运营。 1、给自己店铺产品做测评 亚马逊测评,相信这个词对很多跨境电商卖家来说并不陌生,因为大家都知道它能迅速帮助自…

国际站、速卖通、Lazada店铺运营技巧?如何提升销量?

现在国际站、速卖通、Lazada平台开店的卖家越来越多,如何让店铺稳定的使用下去,是每一个卖家都需要思考的问题。现在我们一起来看一看,有哪些运营上需要注意的事项。 1选择产品 不管什么平台都是一样,产品是根本,只有…

RapperBot僵尸网络最新进化:删除恶意软件后仍能访问主机

自 2022 年 6 月中旬以来,研究人员一直在跟踪一个快速发展的 IoT 僵尸网络 RapperBot。该僵尸网络大量借鉴了 Mirai 的源代码,新的样本增加了持久化的功能,保证即使在设备重新启动或者删除恶意软件后,攻击者仍然可以通过 SSH 继续…

Linux:僵尸进程 Zombie;waitpid

文章目录 参考僵尸进程的表象出现僵尸进程的情况一种产生Coredump,而磁盘空间不够用一种父进程未有waitpid回收子进程僵尸进程的影响system 函数调用执行的子进程waitpid参考 https://linux.die.net/man/2/waitpid 僵尸进程的表象 https://mzhan017.blog.csdn.net/article/…

了解僵尸网络攻击:什么是僵尸网络,它如何传播恶意软件以及如何保护自己?

进行系统安全安排的专业人员非常了解“僵尸网络”一词。通常用于被劫持的计算机/系统链,如果指示恢复性和健壮的系统,则应很好地理解“僵尸网络”一词,因为它们的错误使用会导致巨大的混乱。 文章目录 前言一、僵尸网络定义僵尸网络如何工作&…

对话情感识别与生成 | (1) 对话情感识别与生成简述

原文地址 文章目录 1. 介绍2. 对话情感识别2.1 任务介绍2.2 数据集介绍2.3 相关工作介绍 3. 对话情感生成3.1 任务介绍3.2 数据集介绍3.3 相关工作介绍 4. 总结5. 参考资料 1. 介绍 近年来,随着自然语言处理技术的快速发展,人机对话系统受到了很多关注…

前端VUE聊天框样式

简单记录一下项目中聊天框样式&#xff0c;方便以后直接复用&#xff0c;仅供参考~~~~ 先看一下我要实现的样式吧 下面这个是效果图 上面这个是效果图 <!-- recordContent 聊天记录数组--><div v-for"(itemc, indexc) in recordContent" :key"indexc…

WebStorm 2023.1 最新变化【附带ChatGPT教程】

ChatGPT开源公众号&#xff1a;https://gitee.com/wy521a/astar-weixin-mp 观看更新概览视频 在浏览器中打开更新变化 WebStorm 2023.1 最新变化 框架和技术 Astro 支持 备受期待的 Astro 支持已登陆 WebStorm&#xff01; 从 Preferences / Settings | Plugins&#xff…

VC++6.0实现MFC单文档模拟交通灯

要求&#xff1a; 模拟交通灯&#xff1a; &#xff08;1&#xff09;建立一个单文档应用项目&#xff08;项目名称为学生姓名拼音首字母缩写&#xff09;。 &#xff08;2&#xff09;修改它的图标和版本信息。 &#xff08;3&#xff09;为该应用项目添加两个按钮到工具…

创造未来:OpenAI为人工智能开辟新的道路

本文旨在探讨OpenAI的历史&#xff0c;从其创立到发展壮大的过程&#xff0c;重点关注OpenAI的着眼点和取得的成就。通过对OpenAI的分析&#xff0c;本文还探讨了未来AI发展的趋势和挑战。本文总共5000字&#xff0c;分为摘要引言、OpenAI的历史、OpenAI的成就与影响、OpenAI的…

全网最详细中英文ChatGPT-GPT-4示例文档-官网推荐的48种最佳应用场景——从0到1快速入门自然语言指令创建支付API代码(附python/node.js/curl命令源代码,小白也能学)

目录 Introduce 简介setting 设置Prompt 提示Sample response 回复样本API request 接口请求 python接口请求示例node.js接口请求示例curl命令示例json格式示例其它资料下载 ChatGPT是目前最先进的AI聊天机器人&#xff0c;它能够理解图片和文字&#xff0c;生成流畅和有趣的回…

学 Rust 要几天?「GitHub 热点速览 v.22.51」

作者&#xff1a;HelloGitHub-小鱼干 本周的 GitHub Trending 非常给力&#xff0c;一是解决了 Rust 的学习问题&#xff0c;提供了一个全面的教学课程&#xff1b;二是提供了多个高性能工具&#xff0c;比如&#xff0c;为 PWA 而生的 atrilabs-engine&#xff0c;部署方便&am…

算力狂热时代的冷静之道:宁畅总裁秦晓宁分享企业的算力最优解

算力是数字化时代的生产力之源&#xff0c;近年来已经成为共识。所以&#xff0c;我们能看到各个层面对算力的追逐&#xff0c;无论是国家层面的政策利好&#xff0c;算力基础设施建设的加速&#xff0c;还是诸多行业和企业积极地增加算力部署&#xff0c;呈现出一片如火如荼的…