NVIDIA AI Workbench 让 Windows 上的 GPU 使用更加简便

NVIDIA AI Workbench 是一款免费的、用户友好型开发环境管理器,可在您选择的系统(PC、工作站、数据中心或云)上简化数据科学、ML 和 AI 项目。在 Windows、macOS 和 Ubuntu 上,您可以本地开发、测试项目和构建项目原型,并在系统(本地和远程)之间轻松传输开发环境和计算工作,以优化成本、可用性和规模。

AI Workbench 专注于简化开发者体验,而不会阻碍高级用户所需的自定义类型。那是 AI Workbench 处理容器的主要原因。它们是提供和修改 GPU 加速工作所需环境的最简单方法。

这一重点还意味着与生态系统合作伙伴合作,以改善用户体验。例如,与 Canonical 的协作有助于使用 Ubuntu WSL 发行版在 Windows 上安装 AI Workbench。

最近,NVIDIA 与 Docker Desktop 团队合作创建了一项功能,允许 AI Workbench 直接安装 Docker Desktop。这项功能在最新的 AI Workbench 版本中提供,可显著简化 Windows 和 macOS 上的体验。

这种简化使AI Workbench成为在您自己的系统上入门的最简单方式,从笔记本电脑和工作站一直到服务器和VM。

托管式 Docker 桌面安装

Docker Desktop 是 NVIDIA AI Workbench 上适用于 Windows 和 macOS 的推荐容器运行时。然而,在选择 Docker 之前需要手动设置步骤。为了消除这些手动步骤,NVIDIA 与 Docker 合作,为本地系统安装了支持 NVIDIA AI Workbench 的 Docker Desktop。

这是 Docker 首次支持另一个应用程序为 Docker Desktop 执行托管安装。得益于此次合作,安装适用于 NVIDIA AI Workbench 的 Docker Desktop 现在变得非常简单。有关更多信息,请参阅使用 Docker Desktop 和 NVIDIA AI Workbench 优化 AI 应用程序开发(Docker 网站)。

选择 AI Workbench 的 Docker 容器运行时,系统将自动完成以下任务:

  • 安装 Docker Desktop:以前,如果尚未安装 AI Workbench 安装程序,您必须退出 AI Workbench 安装程序并手动安装 Docker Desktop。现在,您可以让 AI Workbench 安装 Docker Desktop,而无需退出 AI Workbench 安装程序。
  • 在 Windows 上配置 Docker Desktop:AI Workbench 使用其自己的 WSL 发行版,NVIDIA-Workbench。以前,Windows 用户必须手动配置 Docker Desktop 才能使用此发行版,现在,这将自动实现。

新的 AI 工作台项目

在此版本中包含一组新的示例项目,为您使用和构建。AI Workbench 项目是一个结构化的 Git 存储库,在 AI Workbench 中定义了容器化的开发环境。

这些项目支持 Jupyter 和 Visual Studio Code 等 IDE 以及用户配置的 Web 应用程序。所有内容都是容器化的、隔离的和易于修改的。你可以从 GitHub 或 GitLab 克隆项目,然后 AI Workbench 会处理所有内容,包括连接到 GPUs。

迄今为止,这方面的最佳示例是 GitHub 上的 Hybrid-RAG 项目。借助 AI Workbench,您只需克隆项目并单击几下,即可运行 RAG 应用程序。如果您没有本地 GPU,该项目允许您使用云端点或自托管 NIM 容器为您运行推理。

此版本在 GitHub 上提供了一些示例 AI 工作台项目,这些项目将继续开发 RAG 主题。此外,还有一些基于 Jupyter 的新微调项目和支持 NVIDIA RTX AI 工具包的 LlamaFactory 项目。

智能 RAG

借助 Agentic RAG AI Workbench 项目,您可以与 AI 智能体合作,将 Web 搜索工具调用纳入 RAG 工作流。智能体不仅可以处理数据库中的文档,还可以在线动态搜索新文档作为后备,以更好地响应查询。

A diagram shows the routing of user queries through either the RAG pipeline or the web search tool pipeline.

Figure 1. Structure of the agentic RAG example project.

LLM 代理是专为感知环境并作出反应而设计的系统,通常通过工具调用来更好地采取相关行动。这项项目实现了基于 LangGraph 的 RAG 代理,其中包含以下代理元素,以改进响应生成:

  • 路由:根据查询主题将相关问题路由到不同的工作流程。
  • Fallback:如果检索到的文档与查询无关,则返回 Web 搜索。
  • 自我反射:修复无法解决问题的幻觉和答案。

A GIF shows how a user query in the agentic RAG example project is routed to the RAG pipeline or the web search tool pipeline to generate a response.

图 2. 具有可自定义 Gradio 聊天 UI 的 Agentic RAG 示例项目。

此项目包含可定制的 Gradio 聊天应用,使您能够使用远程运行的端点和微服务运行推理,无论是在云端使用 NVIDIA API 目录、使用 NVIDIA NIM 的自托管端点,还是第三方自托管微服务。您可以通过聊天应用轻松切换推理模式。

随时随地进行 NIM

NIM Anywhere 是一个一体化项目,用于构建包含预配置 RAG 聊天机器人的基于 NIM 的 RAG 应用程序。

A diagram of a monitor window facing up with building blocks labeled “Libraries”, “NIM”, “IDE Config”, and “Data Stores” extending from it.

图 3.NIM Anywhere 示例项目

  • Docker 自动化:将 NIM、Milvus 和 Redis 等服务作为持久容器与主项目一起运行。
  • 用户可配置模型:在使用 NVIDIA API 目录上的 NIM 微服务或本地运行的自托管 NIM 微服务之间切换 RAG 的运行方式。
  • 可自定义前端:将视图添加到前端Gradio应用程序,以扩展项目并构建新的用例。

NIM 微服务作为 NVIDIA AI Enterprise 的一部分提供,但您也可以加入 NVIDIA 开发者计划,免费开始使用 NVIDIA NIM。

微调项目

最后,我们介绍了一些针对令人兴奋的新模型的微调工作流程。每个项目都具有可以量化的模型,以适应单个GPU:

  • Mixtral 8x7B: AI Workbench 的第一个示例项目,演示了专家混合模型 (Mixture of Experts, MoE) 的微调。
  • Llama 3 8B:一个示例项目,展示两种方法:监督式完全微调(Supervised Full Fine-tuning,SFT)和直接偏好优化(Direct Preference Optimization,DPO)。
  • Phi-3 Mini:一个小巧的模型,具备量化能力,是一个高度易于访问的微调示例。
  • RTX AI 工具包:为 Windows 应用程序开发者提供端到端工作流。您可以使用热门的基础模型,使用 Workbench 项目使用微调技术对其进行自定义,并将模型部署到 Windows 应用程序中,以在各种 NVIDIA GPU(从 NVIDIA RTX PC 和工作站到云)上获得峰值性能。您可以通过使用 AI Workbench 和 LlamaFactory 图形用户界面开始使用。

其他新功能

我们的开发流程包括用户提出的直接功能请求。以下功能基于这些用户反馈:

  • SSH 代理
  • Ubuntu 24.04
  • 日志记录

SSH 代理

Ai Workbench 的一些企业用户需要使用受密码保护的 SSH 密钥来访问遥控器。这通过在 2024.07 版本中添加 SSH 代理支持来解决这一问题。你还可以选择使用早期的 SSH 密钥功能。

Ubuntu 24.04

以前,Ubuntu 22.04 是唯一支持安装 AI Workbench 的 Linux 发行版。2024.07 版本增加了 Ubuntu 24.04 的支持。

日志记录

AI Workbench 具有多个日志文件,这些文件的查找和解释十分复杂。为了解决此问题,AI Workbench CLI 现在提供了一个支持命令,让您可以将元数据和日志导出到 zip 文件中。这消除了查找文件的需求,并包含可发送至 NVIDIA 支持部门以加快诊断和补救速度的元数据。

即将推出

以下是 AI Workbench 的发展方向:应用分享和多容器支持。

应用共享

目前,只有运行 Workbench 项目的用户才能访问该 Workbench 项目中正在运行的应用程序。一些用户已请求能够共享正在运行的应用程序。

在下一个版本中,AI Workbench 用户将能够通过链接在 Workbench 项目中安全地共享 Web 应用程序。经过身份验证的用户可以直接在 Web 浏览器中访问应用程序,而无需使用 AI Workbench。

多容器支持

当前使用 NIM Anywhere 项目的多容器方法有点变通。即将发布的 AI Workbench 版本将简化对多容器应用程序的支持。

后续步骤

通过从网页安装 AI Workbench 应用程序,开始使用 AI Workbench。已经拥有 AI Workbench 的用户可以按照说明更新到最新版本。有关更多信息,请参阅在 Windows 上安装 AI Workbench。

探索从数据科学到 RAG 的一系列 NVIDIA AI Workbench 项目示例。在 NVIDIA AI Workbench 开发者论坛上提问,并详细了解其他开发者如何使用 NVIDIA AI Workbench。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/421889.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue2实践:el-table实现由用户自己添加删除行数的动态表格

需求 项目中需要提供一个动态表单,如图: 当我点击添加时,便添加一行;点击右边的删除时,便删除这一行。 至少要有一行数据,但是没有上限。 思路 这种每一行的数据固定,但是不定行数的&#x…

信刻光盘安全隔离与信息交换系统

随着各种数据传输、储存技术、信息技术的快速发展,保护信息安全是重中之重。军工、政府、部队及企事业单位等利用A网与B网开展相关工作已成为不可逆转的趋势。针对于业务需要与保密规范相关要求,涉及重要秘密信息,需做到安全的物理隔离&#…

PHP实时统计结果秒出高效能在线投票工具系统小程序源码

实时统计,结果秒出 —— 体验高效能在线投票工具系统 🚀 投票新纪元,效率为王! 在这个快节奏的时代,每一秒都至关重要。你是否厌倦了传统投票方式中漫长的等待和繁琐的统计过程?那么,就让我带你…

数字乡村网络文化服务平台建设方案

1. 平台建设背景与目标 数字乡村网络文化服务平台的建设旨在通过数字化手段整合乡村内外资源,打造全面覆盖、精准服务的乡村服务体系,以改善民生和促进社会稳定。平台包括居民管理、互动交流、服务管理等五大应用,实现乡村服务的多元化、精确…

Mac在Python项目中通过opencv模版匹配定位不到图片

起因 原本一行代码的事情,但是在Mac上总能出现意外,如下 box pyautogui.locateOnScreen(obsidian.png) print(box) pyautogui.moveTo(box[0],box[1])上面的代码用来定位图片在屏幕中的位置,然后移动鼠标到定位到的屏幕位置坐标。 意外…

实战OpenCV之像素操作

基础入门 在OpenCV中,像素是最基本的操作单位。图像可以视为一个三维数组,其中第三维表示颜色通道。图像数据在内存中以连续或几乎连续的方式存储,对于多通道图像(比如:BGR图像),每个像素的各通…

EmguCV学习笔记 VB.Net 11.5 目标检测

版权声明:本文为博主原创文章,转载请在显著位置标明本文出处以及作者网名,未经作者允许不得用于商业目的。 EmguCV是一个基于OpenCV的开源免费的跨平台计算机视觉库,它向C#和VB.NET开发者提供了OpenCV库的大部分功能。 教程VB.net版本请访问…

初识时序数据库InfluxDB

最近项目开发中,需要记录时间序列的日志信息,InfluxDB 刚好契合。于是准备研究一下,发现已经有整理很好的文档,以下两篇觉得很好,入门开发可以参考一下。 因为项目是用C#开发的,因此,简单介绍一下C#开发中,InfluxDB的API使用。 1.简介 InfluxDB是一个由InfluxData开发…

《食品安全导刊》是什么级别的期刊?是正规期刊吗?能评职称吗?

问题解答 问:《食品安全导刊》是不是核心期刊? 答:不是,是知网收录的正规学术期刊。 问:《食品安全导刊》级别? 答:国家级。主管单位: 中国商业联合会 主办单…

ONLYOFFICE8.0部署集成(vue+java)并配置存储为minio

文章目录 前言一、使用docker安装onlyoffice8安装使用DockerDesktop方式命令行方式使用 HTTPS 运行展示 二、项目集成前端集成-vue3html方式后端集成-java 三、onlyoffice基础原理四、配置存储为minio1.onlyoffice配置文件挂载问题2.配置存储为minio3.验证切换minio存储是否生效…

生成式AI介绍

生成式AI介绍 生成式AI(Generative AI)是人工智能领域的一种技术,能够通过学习现有数据来生成新的内容。不同于传统的人工智能模型只进行分类、回归等分析任务,生成式AI具备创作能力,能够生成文本、图像、音频甚至视频…

基于spring拦截器实现博客项目的强制登录功能(四)

6. 强制登录 当⽤⼾访问 博客列表和博客详情⻚ 时, 如果⽤⼾当前尚未登陆, 就⾃动跳转到登陆⻚⾯. 我们可以采⽤拦截器来完成, token通常由前端放在header中, 我们从header中获取token, 并校验 token是否合法 6.1 添加拦截器 package com.example.spring_blog_24_9_8.config;…

性能测试-jmeter的控制器(十六)

一、if控制器 需求:使用“用户自定义变量”定义name变量,值可以是“baidu”或“itcast”,使用变量值,控制是否访问对应网站。 1、步骤: 在测试计划中添加用户定义的变量name,取值可为baidu或itcast添加两个http请求&#xff1a…

misc音频隐写

一、MP3隐写 (1)题解:下载附件之后是一个mp3的音频文件;并且题目提示keysyclovergeek;所以直接使用MP3stego对音频文件进行解密;mp3stego工具是音频数据分析与隐写工具 (2)mp3stego工具的使用:…

CSS实现前端布局更巧妙的方案!在 flex 布局中通过使用 margin 实现水平垂直居中以及其他常见的前端布局

在前端开发中,实现水平垂直居中一直是个热门话题。随着 CSS Flexbox 布局的普及,开发者们开始更多地使用 justify-content 和 align-items 这两个属性来解决这个问题。 然而,还有一种更加简洁、灵活的方式——使用 margin: auto; 来实现居中以…

大数据之Flink(二)

4、部署模式 flink部署模式: 会话模式(Session Mode)单作业模式(Per-Job Mode)应用模式(Application Mode) 区别在于集群的生命周期以及资源的分配方式;以及应用的main方法到底在…

Vue3使用vue-qrcode-reader实现扫码绑定设备功能

需求描述 移动端进入网站后,登录网站进入设备管理界面。点击添加设备,可以选择直接添加或者扫一扫。点击扫一扫进行扫描二维码获取设备序列号自动填充到添加设备界面的序列号输入框中。然后点击完成进行设备绑定。 安装vue-qrcode-reader 这里使用的版…

2024.9.11 作业

绘制组件制作时钟 代码&#xff1a; /*******************************************/ 文件名&#xff1a;widget.h /*******************************************/ #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QPaintEvent> #include &l…

MAX3483ESA+T具有±15kV ESD保护的+3.3V、低功耗收发器,适用于RS-485和RS-422通信

MAX3483ESAT具有15kV ESD保护的3.3V、低功耗收发器&#xff0c;适用于RS-485和RS-422通信。每个器件包含一个驱动器和一个接收器。MAX3483ESAT具有限摆率驱动器&#xff0c;可充分降低EMI并减少因电缆端接不当引起的反射&#xff0c;从而实现数据速率高达250kbps的无误差数据传…

【中间件】-容器编排平台Kubernetes简介

目录 什么是K8s 为什么需要K8s 什么是容器(Contianer) K8s能做什么&#xff1f; K8s的架构原理 控制平面(Control plane) kube-apiserver etcd kube-scheduler kube-controller-manager cloud-controller-manager 小结 节点组件(Node) container runtime Pod kubelet ku…