Nvidia 携手 RTX 推出的本地运行 AI 聊天机器人

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

Nvidia 今天推出了 Chat with RTX 的早期版本,这是一个演示应用程序,允许你在个人电脑上运行一个私人 AI 聊天机器人。你可以向它提供 YouTube 视频和你自己的文档,以创建摘要和基于你自己的数据获取相关答案。这一切都在个人电脑上本地运行,你所需要的只是一块至少拥有 8GB VRAM 的 RTX 30 或 40 系列 GPU。

我在过去的一天里对 Chat with RTX 进行了简短的测试,尽管这个应用程序还有点粗糙,但我已经可以看到这将成为数据研究的有价值部分,特别是对于需要分析一系列文档的记者或任何人来说。

Chat with RTX 能够处理 YouTube 视频,所以你只需输入一个 URL,它就会让你搜索特定提及的字幕或总结整个视频。我发现这对于搜索视频播客非常理想,特别是在寻找过去一周关于微软新 Xbox 策略转变的传言中的特定提及时。

然而,搜索 YouTube 视频并不是完美的。我尝试搜索一段 The Verge YouTube 视频的字幕,但 Chat with RTX 下载了一个完全不同视频的字幕。这甚至不是我之前查询过的视频,所以在这个早期演示中显然存在漏洞。

Chat with RTX 在搜索你本地的文档方面表现出色。当它正常工作时,我能够在几秒内找到视频中的参考内容。我还为 Chat with RTX 创建了一个 FTC 诉微软文档的数据集进行分析。当我去年覆盖这个法庭案件时,快速搜索文档经常让人感到不堪重负,但 Chat with RTX 帮助我几乎立即在我的电脑上查询它们。

例如,聊天机器人很好地总结了在审判中揭示的微软整个 Xbox Game Pass 策略:

根据提供的上下文信息,Xbox Game Pass 是一项游戏内容订阅服务,它提供单一月费访问游戏库的权限。它被视为一个能让玩家在任何地方玩他们的游戏,并允许发布商在各处触达玩家的平台。该服务由 Project xCloud 和 Xbox Series X 支持,旨在为发布商创造一个利润丰厚的游戏环境。游戏 CSA 的主要战略目标是扩大 Xbox Game Pass 的规模,认为全球有着高达 7.5 亿的订阅者机会。该服务面临三个主要的内容动态,包括需要差异化的内容、扩展到控制台之外和有限的内容供应。

我还发现这对于扫描 PDF 和事实核查数据非常有用。微软自己的 Copilot 系统在 Word 中处理 PDF 并不好,但 Nvidia 的 Chat with RTX 没有问题地拉出所有关键信息。响应几乎是即时的,没有你通常在使用基于云的 ChatGPT 或 Copilot 聊天机器人时看到的延迟。

Chat with RTX 的一个大缺点是,它真的感觉像是一个早期的开发者演示。Chat with RTX 实质上在你的电脑上安装了一个网络服务器和 Python 实例,然后利用 Mistral 或 Llama 2 模型来查询你提供的数据。然后,它利用 Nvidia 的 Tensor 核心在 RTX GPU 上加速你的查询。

Chat with RTX 并不总是准确的。它在我的电脑上安装大约需要 30 分钟,我的电脑配备了一个 Intel Core i9-14900K 处理器和一个 RTX 4090 GPU。这个应用程序几乎有 40GB 大小,Python 实例占用了系统中可用的 64GB RAM 中的大约 3GB。一旦运行起来,你就可以通过浏览器访问 Chat with RTX,同时在后台运行的命令提示符会输出正在处理的内容和任何错误代码。

Nvidia 并不是将这个作为所有 RTX 拥有者都应该立即下载和安装的成熟应用程序来提供。存在许多已知的问题和限制,包括源归属并不总是准确。我最初尝试让 Chat with RTX 索引 25,000 个文档,但这似乎使应用程序崩溃了,我不得不清除首选项才能再次开始。

Chat with RTX 也不记得上下文,所以后续问题不能基于之前问题的上下文。它还在你要求它索引的文件夹内创建 JSON 文件,所以我不建议在你的整个 Windows 文档文件夹中使用这个。

我喜欢一个好的技术演示,Nvidia 在这里确实提供了这样的演示。它展示了未来在你的个人电脑上本地运行的 AI 聊天机器人的可能性,特别是如果你不想订阅像 Copilot Pro 或 ChatGPT Plus 这样的服务就能分析你的个人文件。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/258291.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Netty Review - ByteBuf内存池源码解析

文章目录 Pre主要特点和工作原理类关系源码解析入口索引AbstractNioByteChannel.NioByteUnsafe#readallocHandle.allocate(allocator) 小结 Pre Netty Review - 直接内存的应用及源码分析 Netty Review - 底层零拷贝源码解析 主要特点和工作原理 ByteBuf 内存池是 Netty 中用…

【王道数据结构】【chapter5树与二叉树】【P159t17~19】【统考真题】

目录 2014年统考 2017年统考 2022年统考 2014年统考 #include <iostream> #include <stack> #include <queue> typedef struct treenode{int weight;struct treenode *left;struct treenode *right; }treenode,*ptreenode;ptreenode buytreenode(int x) {p…

【web | CTF】BUUCTF [BJDCTF2020]Easy MD5

天命&#xff1a;好像也挺实用的题目&#xff0c;也是比较经典吧 天命&#xff1a;把php的MD5漏洞都玩了一遍 第一关&#xff1a;MD5绕过 先声明一下&#xff1a;这题的MD5是php&#xff0c;不是mysql的MD5&#xff0c;把我搞迷糊了 一进来题目啥也没有&#xff0c;那么就要看…

解密输入输出迷局:蓝桥杯与ACM中C++/C语言常见问题揭秘

关于C中的常见输入输出汇总 带空格的字符串&#xff1a; ​ 对于这种输入方式我们选择使用gets() 函数来进行输入&#xff0c;gets用于从标准输入&#xff08;通常是键盘&#xff09;读取一行文本并将其存储为字符串&#xff0c;直到遇到换行符&#xff08;‘\n’&#xff09…

飞天使-k8s知识点20-kubernetes实操5-pod更新与暂停-statefulset

文章目录 资源调度 Deployment&#xff1a;扩缩容资源调度 Deployment&#xff1a;更新的暂停与恢复资源调度 StatefulSet&#xff1a;定义一个有状态服务headless service 金丝雀发布 资源调度 Deployment&#xff1a;扩缩容 扩容和缩容&#xff0c;常用的功能 scale[rootkub…

上位机图像处理和嵌入式模块部署(图像项目处理过程)

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 对于一般的图像项目来说&#xff0c;图像处理只是工作当中的一部分。在整个项目处理的过程中有很多的内容需要处理&#xff0c;比如说了解需求、评…

二、ActiveMQ安装

ActiveMQ安装 一、相关环境二、安装Java8三、下载安装包四、启动五、其他命令六、开放端口七、后台管理 一、相关环境 环境&#xff1a;Centos7.9安装ActiveMQ版本&#xff1a;5.15.9JDK8 二、安装Java8 安装教程&#xff1a;https://qingsi.blog.csdn.net/article/details/…

react【三】受控组件/高阶组件/portals/fragment/严格模式/动画

文章目录 1、受控组件1.1 认识受控组件1.2 checkout1.3 selected1.4 非受控组件 2、高阶组件2.1 认识高阶组件2.2 应用1-props增强的基本使用2.3 对象增强的应用场景-context共享2.4 应用2-鉴权2.5 应用3 – 生命周期劫持2.6、高阶组件的意义 3、Portals4、fragment5、StrictMo…

17.3.1.6 自定义处理

版权声明&#xff1a;本文为博主原创文章&#xff0c;转载请在显著位置标明本文出处以及作者网名&#xff0c;未经作者允许不得用于商业目的。 模拟某款图像处理软件的处理&#xff0c;它只留下红色、绿色或者蓝色这样的单一颜色。 首先按照颜色划分了6个色系&#xff0c;分别…

disql备份还原

disql备份还原 前言 本文档根据官方文档&#xff0c;进行整理。 一、概述 在 disql 工具中使用 BACKUP 语句你可以备份整个数据库。通常情况下&#xff0c;在数据库实例配置归档后输入以下语句即可备份数据库&#xff1a; BACKUP DATABASE BACKUPSET db_bak_01;语句执行完…

java生态环境评价Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 java 生态环境评价管理系统是一套完善的java web信息管理系统&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。开发环境为 TOMCAT7.0,Myeclipse8.5开发&#xff0c;数据库为Mysq…

.netcore音乐播放器 musicPlayer

html音乐播放器 .net core mvc 音乐播放器 支持上传本地音乐到云端 支持通过文件夹创建歌单(不需要数据库和其他数据存储) 通过歌单分类 播放歌曲 支持播放暂停 上一首 下一首切换 支持显示歌曲列表 歌单切换 展示歌曲根据歌单名去获取歌曲显示 功能 版权原因 或者想创建自己的…

macOS 安装 conda

macOS 安装 conda 安装 conda参考 Conda是一个开源的软件包管理系统和环境管理系统&#xff0c;用于安装和管理软件包和其依赖项。 安装 conda mkdir miniconda3 cd miniconda3 bash Miniconda3-latest-MacOSX-x86_64.sh$ conda list参考 macOS 安装 conda开始使用conda

python+django学习交流论坛系统244t6

系统可以提供信息显示和相应服务&#xff0c;其管理员管理用户发布的博客文章以及用户之间的论坛交流信息&#xff0c;管理留言以及文章分类信息。用户在论坛交流模块发布帖子以及评论帖子&#xff0c;在前台查看和评论其他用户发布的博客文章&#xff0c;收藏博客文章&#xf…

esp8266-01s WIFI模块使用(一)- AT指令

时间记录&#xff1a;2024/2/15 一、注意事项 &#xff08;1&#xff09;使用英文双引号表示字符串数据 &#xff08;2&#xff09;默认波特率115200 &#xff08;3&#xff09;AT指令以“\r\n”结尾 &#xff08;4&#xff09;3.3V电源接口先连接单片机的3.3V&#xff0c;如…

阿里云“BGP(多线)”和“BGP(多线)_精品”区别价格对比

阿里云香港等地域服务器的网络线路类型可以选择BGP&#xff08;多线&#xff09;和 BGP&#xff08;多线&#xff09;精品&#xff0c;普通的BGP多线和精品有什么区别&#xff1f;BGP&#xff08;多线&#xff09;适用于香港本地、香港和海外之间的互联网访问。使用BGP&#xf…

用HTML5 Canvas创造视觉盛宴——动态彩色线条效果

目录 一、程序代码 二、代码原理 三、运行效果 一、程序代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <!-- 声明文档类型为XHTML 1.0 Transitional -…

ElasticSearch之search API

写在前面 本文看下查询相关内容&#xff0c;这也是我们在实际工作中接触的最多的&#xff0c;所以有必要好好学习下&#xff01; 1&#xff1a;查询的分类 主要分为如下2类&#xff1a; 1:基于get查询参数的URI search 2&#xff1a;基于post body的request body search&am…

Netty Review - 直接内存的应用及源码分析

文章目录 Pre概述应用访问效率&#xff1a; 堆内存 VS 直接内存申请效率&#xff1a; 堆内存 VS 直接内存数据存储结构&#xff1a; 堆内存 VS 直接内存结论 ByteBuffer.allocateDirect 源码分析unsafe.allocateMemory(size) ---> C方法 JVM参数 -XX:MaxDirectMemorySize直接…

隐函数的求导【高数笔记】

1. 什么是隐函数&#xff1f; 2. 隐函数的做题步骤&#xff1f; 3. 隐函数中的复合函数求解法&#xff0c;与求导中复合函数求解法有什么不同&#xff1f; 4. 隐函数求导的过程中需要注意什么&#xff1f;