微软NVIDIA讲师直播讲解:探索LLM大模型的小型化 —— 小模型在NVIDIA Jetson 与 NIM 平台的最佳实践

Webinar主题:探索LLM大模型的小型化 —— 小模型在NVIDIA Jetson 与 NIM 平台的最佳实践

  • 时间:6月25号 晚8点-9点

  • 时长:1h

  • 活动形式:线上

  • 点击链接报名本次在线研讨会:https://www.nvidia.cn/webinars/sessions/?session_id=240625-32973

  • 内容描述:

    在当前高速发展的人工智能领域,如何高效的部署和优化 SLM(小型的大模型) 成为关键。随着微软 Phi-3 系列模型的发布,让 SLM在 NVIDIA Jetson 边缘计算平台上的部署成为可能。同时 Phi-3 系列模型已在NVIDIA NIM平台提供加速的推理服务。
    NVIDIA NIM 是一套用于部署 AI 模型的推理微服务,是一套易于使用的预构建容器工具。帮助企业客户加速在云、数据中心和工作站中部署生成式 AI 模型。让各类生成式 AI 模型的使用更为便捷和高效,为 AI 技术带来了新的突破和无限可能。
    通过参加本次在线研讨会,您将了解到如何利用这些先进的模型和平台实现生成式 AI 的最佳实践,推动您的 AI 项目更上一层楼。
    通过本次网络研讨会的主题演讲,您可以收获以下内容:
    Topic1:Phi3 SLM在Jetson边缘计算设备上的部署 (20 min)
    • Phi3 系列模型介绍
    • Phi3 与 Ollma的结合使用
    • Phi3 模型在Jetson边缘计算设备上的部署实战

在这里插入图片描述

卢建晖(Kinfey Lo) | 微软高级云技术布道师
专注在人工智能及大数据领域,具备 15 年以上的电信,教育,金融服务行业经验。是微软 Build / Ignite / Teched 大会讲师,GitHub Copilot Workshop 讲师,Qcon 讲师,现负责生成式人工智能应用架构及 Microsoft Phi-3 小模型在行业中的应用落地工作。

Topic2:Phi3 SLM + NIM实现对话式AI场景中的应用 (15 min)
• NVIDIA NIM 推理微服务平台介绍
• NIM平台使用Phi3对话模型的方法
• 代码实践:Langchain结合NIM实现Phi3对话模型的推理

在这里插入图片描述

李奕澎 | NVIDIA 企业开发者社区经理
拥有多年数据分析建模、人工智能自然语言处理开发经验。在对话式人工智能与大模型技术领域有丰富的实战经验与见解。曾开发法律、金融、保险文档中基于实体抽取的智能问答系统,曾主导开发基于 NLP 知识抽取,KG 知识图谱的建立的科研文档智能检索系统。加入NVIDIA 开发者社区以来完成过上百场培训,帮助上万个开发者了解人工智能。

在这里插入图片描述

Topic3:Phi3 - Vision在NIM平台上实现多模态应用 (15min)
• Phi3 - Vision简介
• Phi3 - Vision基于NIM的调用方式
• 代码实践:基于NIM接口实现Phi3 - Vision的推理实践

何琨 (Ken He)| NVIDIA 企业级开发者社区经理
拥有多年的GPU 和人工智能开发经验。自2017年加入NVIDIA 开发者社区以来,完成过上百场培训,帮助上万个开发者了解人工智能和 GPU编程开发。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/360227.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开发大模型应用,到底使用RAG还是微调?我们应该从哪些方面考虑?

现在基于大模型开发应用时,相信很多人都有这种疑问,到底对大模型进行微调还是外接RAG呢?因为两者在一定层面上有很多相似的地方,下面让我给大家从各个层面进行分析,结合具体的业务场景,看哪种方式更适合你的…

一款轻量级的WPF UI库---Adonis UI

Adonis UI适用于 WPF 应用程序的轻型 UI 工具包,提供经典但增强的 Windows 视觉对象 组件内容 几乎所有 WPF 控件的模板的默认样式为方便起见,可根据需要使用两种配色方案(浅色和深色),也可用于自定义样式支持在运行时更改配色方案支持其他自定义配色方案提供水印等功能的…

硬盘监控和分析工具:Smartctl

文章目录 1. 概述2. 安装3. 使用4. smartctl属性信息介绍 1. 概述 Smartctl(S.M.A.R.T 自监控,分析和报告技术)是类Unix系统下实施SMART任务命令行套件或工具,它用于打印SMART自检和错误日志,启用并禁用SMRAT自动检测…

又一盛举,沃飞取得关键技术突破后,助力成都低空载人交通航线运行实践!

6月20日上午9点30分,随着塔台发出指令,一架载人直升飞机(阿古斯塔AW109型号)从洛带通用机场起飞,经停中国欧洲中心、青城山,最后稳稳落地回到洛带通用机场。当天下午,这架飞机再次转动旋翼&…

IDEA2024关闭自动AI代码补全功能

文章目录 一、背景二、教程四、写在后面 一、背景 在本人前段时间的一次面试算法题中,面试官让我关闭代码提示功能,当时气氛尴尬的可以抠出三室一厅,但是这个功能是2024新版参考文献自带的,本次来分享如何关闭新版代码补全功能。…

Mac(M1芯片)安装多个jdk,Mac卸载jdk

1.jdk下载 oracle官方链接:oracle官方下载链接 2.安装 直接下一步,下一步就行 3.查看是否安装成功 出现下图内容表示安装成功。 4.配置环境变量 open -e .bash_profile 路径建议复制过去 #刷新环境变量 source ~/.bash_profile 5.切换方法 6.jdk…

sql sever 存储过程不能请求https的解决方案

此错误的原因,通常是因为SQL Server默认不允许非加密的HTTP请求。为了解决这个问题,需要配置SQL Server允许非密码的https请求,或者使用密码的http请求。 下面是配置SQL Server允许非加密http请求 UsE [master] ;Go EXEC sp_configure Sh…

如何确保消息不被重复消费

一、重复消费问题出现的原因 导致重复消费的原因可能出现在生产者,也可能出现在 MQ 或 消费者。这里说的重复消费问题是指同一个数据被执行了两次,不单单指 MQ 中一条消息被消费了两次,也可能是 MQ 中存在两条一模一样的消费。 生产者&…

施耐德ATV310变频器参数设置

1、ATV610变频器参数设置请参考下面文章链接: 施耐德ATV610变频器MODBUS通信应用(SMART PLC)-CSDN博客文章浏览阅读131次。提升MODBUS-RTU通信数据刷新速度的常用方法_modbus rtu通讯慢-CSDN博客文章浏览阅读1k次。https://rxxw-control.blog.csdn.net/article/det…

Python为JSON解析和生成功能库之rapidjson使用详解

概要 在现代应用程序开发中,JSON(JavaScript Object Notation)作为一种轻量级的数据交换格式,被广泛应用于Web开发、数据传输和配置文件等场景。Python自带的json模块已经非常强大,但在处理大规模数据时,其性能可能无法满足需求。为了提高JSON处理效率,Python的rapidjs…

DVWA 靶场 JavaScript 通关解析

前言 DVWA代表Damn Vulnerable Web Application,是一个用于学习和练习Web应用程序漏洞的开源漏洞应用程序。它被设计成一个易于安装和配置的漏洞应用程序,旨在帮助安全专业人员和爱好者了解和熟悉不同类型的Web应用程序漏洞。 DVWA提供了一系列的漏洞场…

el-form重置后input无法输入问题

新增用户遇到的问题: 如果你没有为 formData 设置默认值,而只是将其初始化为空对象 {},则在打开dialog时,正常输入, formdata会变成如下 但是,打开后,直接使用 resetFields 或直接清空表单&…

mybatis x插件的使用教程(详细)

MyBatisX 的主要功能 代码生成: 自动生成 MyBatis 的 Mapper、XML 配置文件和实体类,大大减少手工编写代码的工作量。 智能代码补全: 提供 SQL 语句和 MyBatis 配置的智能代码补全功能,使开发者能够更快地编写代码。 代码导航&…

用Jenkins+Docker+Maven+Git实现持续集成 (超详细)

首先介绍一下笔者的练手小项目:基于SpringCloud搭建的,用Docker容器部署,用Git实现代码托管,Jenkins实现持续集成。 好了,废话不多说了,直接进入主题吧。 一、Jenkins简介 Jenkins,原名Hudson&…

重磅丨上海容大推出“容聆”智能拾音工牌,赋能线下门店运营数字化

近日,继豚音营业厅智能质检终端之后,上海容大数字技术有限公司(简称“上海容大”)在线下面对面沟通场景下语音数据采集与智能分析领域取得了新突破,重磅推出AI智能语音工牌产品——“容聆”。 据悉,“容聆”…

【期末复习】计算机组成原理

海明码 最通俗的海明码计算方法,不需记公式,套步骤即可(可能都不需要理解) https://www.bilibili.com/video/BV1tL4y1h7Fd/ 接上一海明码视频(海明码的纠错) https://www.bilibili.com/video/BV1tf4y1A7NX/…

[保姆级教程]uniapp实现底部导航栏

文章目录 前置准备工作安装HBuilder-X新建uniapp项目教程使用HBuilder-X启动uniapp项目教程 实现底部导航栏package.json中配置导航栏详细配置内容 前置准备工作 安装HBuilder-X 详细步骤可看上文》》 新建uniapp项目教程 详细步骤可看上文》》 使用HBuilder-X启动uniapp项…

ElementUI框架搭建及组件使用+登录界面精美模版分享

目录 如何在项目中使用ElementUI组件? ① 通过npm 安装 ② 完整引入 Element ③ 导入组件测试 登录界面搭建 注意事项 ▐ 前言: 本篇文章将详解基于Vue-cli脚手架搭建的项目如何使用ElementUI ?所以在学习本篇文章内容之前建议您先学习…

【ajax核心01】ajax底层原理

目录 一:XMLHttpRequest对象 二:如何使用XHR 步骤: 注意: 三:XMLHttpRequest-请求参数 1 定义: 2 案例练习 前端HTML结构: JS代码 四:XMLHttpRequest-数据提交 核心 五:如…

实现一个查找算法

/实现一个查找算法 public class Test_35 {public static int linearSearch(int[] arr, int target) {for (int i 0; i < arr.length; i) {if (arr[i] target) {return i; // 返回目标元素的索引}}return -1; // 如果未找到目标元素&#xff0c;则返回-1}public static vo…