昇思MindSpore技术公开课系列:保姆级的大模型专题实践课程来了

相信很多小伙伴对在昇思MindSpore支撑下训练出的一系列大模型并不陌生了:鹏程.盘古、鹏程.神农、紫东.太初...

昇思MindSpore大模型历程

昇思MindSpore具备丰富的并行能力,能轻松完成4096卡集群、万亿参数规模的训练任务,因此支撑了国内多个领域首发大模型的训练,这些大模型涉及知识问答、知识检索、知识推理、阅读理解、文本/视觉/语音多模态、生物制药、遥感、代码生成等。总共支撑20+大模型训练,6个千亿参数大模型,覆盖NLP、Audio、CV、多模态等领域。

昇思MindSpore与OpenI启智社区联手推出了昇思MindSpore技术公开课系列课程,带领大家揭秘大模型。

本课程聚焦大模型领域,旨在从实践的角度出发,带领产学研开发者逐步掌握大型语言模型的原理与实现,手把手教大家搭建一个简易版的盘古大模型。课程完全免费,课程材料与代码全部开源,欢迎广大产学研开发者参与课程学习。

一、课程特色

由浅入深的课程内容设计

课程内容逐层递进,从最基础的Transfromer开始,逐步引入大模型演变中的经典模型及技术,每一层的内容都在前一层的基础上进行了拓展和深入,使产学研开发者能够逐步掌握深度学习的核心理论和实践技能。

实践为主的教学方法

课程设置代码实战环节,让学员通过实际的项目实战来运用所学知识,从而更深入地了解模型的使用和应用,同时也能够锻炼大家的实际操作能力。此外,课程中我们会采取理论和代码穿插授课的形式,让大家在原理学习和代码实践中感受到更为紧密的联系。

端到端的模型实践

课程注重模型的端到端实现,从数据预处理到最终模型推理等各个环节都有涉及。帮助大家全面掌握模型的实现流程和调优技巧,从而更好地应对实际问题。

欢迎大家使用启智平台的算力,课上和我们一起同步完成任务代码的运行。感兴趣的小伙伴也可以在课后尝试对模型进行“魔改”,感受大模型和自己的创意可以碰撞出怎样的火花~

与业内专家的互动交流

邀请业内专家参与到课程中来,可以从不同的角度解读理论知识,并分享实际应用中的经验和技巧。这样既可以让学员更好地理解知识点,又能更深入地了解业内最新的技术发展趋势。

完备的学习路径

我们不仅注重于课程本身的设计,还为参与课程的学员们提供了各种不同难度和类型的前序及后续学习任务。学员可以从前序课程打好深度学习基础开始,逐步掌握核心理论和实践技能,同时还能通过社区实践锻炼开源实践能力。

二、课前准备

学习本课程需要一定的深度学习基础,但对这部分知识有所欠缺的小伙伴也不用担心,我们为大家准备了前序学习课程——MindSpore版李沐老师《动手深度学习》(《动手学深度学习》:面向中文读者、能运行、可讨论。中英文版被60多个国家的400多所大学用于教学(https://github.com/mindspore-courses/d2l-zh))。

建议大家尝试自己动手运行代码,从而更好地理解每个课程单元的内容,这样可以在大模型的正式课程中更丝滑地入学哦。

三、课程安排

课程共分为8节课,4月15日起,每周六下午2:00 - 3:30准时在B站开展直播。

课程结束后视频回放会上传至B站MindSpore官方账号下进行归档。

课程材料及代码可通过如下链接获取:

https://github.com/mindspore-courses/step_into_chatgpt 

代码运行可使用启智平台的算力:

https://openi.pcl.ac.cn/zeizei/OpenI_Learning 

日期

课程内容

4/15

开场致词

Transformer
  * Multi-Head Attention
  * Transformer结构
       * 输入编码
       * Encoder
       * Decoder

4/22

BERT
 
 * BERT预训练
  * BERT Finetune
  * 使用MindSpore写一个数据并行的BERT

4/29

GPT
  * Unsupervised Language Modelling
  * Supervised Fine-Tuning
  * 使用GPT Finetune一个Task

5/6

休息

5/13

GPT2
  * Task Conditioning
  * Zero Shot Learning and Zero Shot Task Transfer
  * 使用GPT2训练一个few shot任务

5/20

MindSpore自动并行

5/27

代码预训练
  * CodeBERT
  * CodeX、Copilot
  * CodeGeeX
  * 使用CodeGeeX生成代码

6/3

Prompt Tuning
  * 人工定义Prompt
  * P-tuning
  * 使用BERT/GPT2实现Prompt Tuning

6/10

Instruct Tuning
  * Let's think step by step
  * InstructGPT
  * Chain-of-thoughts

6/17

RLHF
  * 强化学习与PPO算法
  * InstructGPT/ChatGPT中的RLHF
  * 动手训练一个Reward模型
  * 使用GPT2实现ChatGPT全流程(基于人工反馈的评论生成模型)

感兴趣的小伙伴可以扫描下方二维码进入技术公开课群组,我们将在课后在群内进行课程答疑,并放送后续活动参与报名链接。

四、社区实践

据说技术公开课的老师们有一个宗旨:坚决不让大家在完成学习后,又将知识还给自己。为此,我们为大家提供了丰富多元的课后社区实践活动,帮助巩固课后知识,并进行相关实践拓展,从开源实践小白进化成开源专家。

Level 1:社区活动

在这里,你可以体验昇思MindSpore特性与全新套件,为昇思MindSpore优化提出自己宝贵的意见。还可以参与论文复现,对AI传统领域形成一个更加全面的了解。

扫一扫二维码,欢迎参加昇思MindSpore开源社区活动

Level 2:社区实习

想要挑战难度更高任务的小伙伴,可以参与到昇思MindSpore开源社区实习中来。

我们为大家提供了贡献开源代码的平台。在这里,你将在技术专家的带领下,在实际的开源环境中接触前沿技术,提升实践能力,成为昇思MindSpore建设不可或缺的一份子。

相信拥有了开源实践经验的你,今后也可以通过这份经历在的工作招聘和学习深造中脱颖而出!

扫一扫二维码,进入昇思MindSpore开源实习官网,了解报名详情

五、讲师团队

刘群:华为语音语义首席科学家

苏腾:昇思MindSpore技术专家、昇思MindSpore超大规模AI架构师

CQU弟中弟:昇思MindSpore易用性专家、昇思MindSpore布道师

Selina:昇思MindSpore布道师

欢迎大家提前进群,或通过昇思MindSpore各种渠道关注昇思MindSpore技术公开课的后续消息,我们在4月中旬不见不散!

昇思MindSpore

昇思MindSpore是新一代覆盖端边云全场景的开源AI框架,旨在开创全新的AI编程范式,降低开发者门槛,为开发者打造开发友好、运行高效、部署灵活的AI框架,推动人工智能生态繁荣发展。昇思在致力于技术创新的同时,着力打造学习型社区环境,希望凝聚开发者力量共建社区,与开发者共同学习和成长。

OpenI启智社区

OpenI启智社区是在鹏城实验室的支撑下,以鹏城云脑科学装置及软件开发群智范式为基础,由新一代人工智能产业技术创新战略联盟(AITISA)组织产学研用协作共建共享的开源平台与社区,是当前唯一支持在线开放基于鹏城云脑和中国算力网的GPU与NPU算力的开源开放平台,已为上万名AI开源开发者提供普惠服务超过100万卡时。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/42867.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

YouTube 上传第一个视频 | 历史上的今天

整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。 今天是 2023 年 4 月 23 日,世界读书日。在 1564 年的这一天,全世界最卓越的文学家之一莎士比亚出生;1616 年的这一天,莎士比亚与…

携手天涯社区共建元宇宙,区块城市或有更大的野心

不久前,国务院印发了《数字中国建设整体布局规划》,此次重磅文件再提数实融合,一方面为数字经济产业未来的发展道路指明了方向,另一方面也再次提振了元宇宙等数字技术行业的信心。 而上周有关BlockCity区块城市将并购天涯社区、共…

H5 语音合成播报功能

采用的 SpeechSynthesisUtterance实现语音播报功能,参考资料: ONE、TWO 实现效果图: 语法介绍 1、speechSynthesis.getVoices() getVoices()的方法SpeechSynthesis接口返回的列表SpeechSynthesisVoice对象代表当前设备上所有可用的声音。 …

语音播报功能的实现

喜欢请关注微信公众号:嵌入式从0到1 公众号内容面向在校大学生、电子爱好者、嵌入式工程师; 涉及电子制作、模块使用、单片机技术、物联网相关知识分享; 软硬件全栈工程师,玩模块,学硬件,带你从0走到1 TTS是Text To Speech的缩写,即“从文本到语音”,是人机对话的一部…

Android 语音播报之项目实战

TextToSpeech项目应用 文字转语音官网简介项目前景项目实战真机调试结尾 文字转语音 从文本合成语音以立即播放或创建声音文件。即TextToSpeech(以下简称TTS) TTS是语音合成应用的一种,它将储存于电脑中的文件,如帮助文件或…

必应(bing)搜索跳转到百度解决方法

一、删除浏览器插件 以谷歌浏览器为例,点击图片右上角处拓展功能,更多工具→拓展程序 将拓展程序移除即可 二、火狐恶性木马查杀工具 搜索火狐恶性木马查杀工具,在火狐吧即可免费下载,查杀病毒后重启

我们问了ChatGPT几个实时云渲染/Cloud XR的问题,结果发现……

和 宇宙大网红ChatGPT 交流有一段时间了, 感觉他时而靠谱,时而胡扯 当你将严肃问题丢给它时,它的回答科学么?严谨么? 今天,问几个平行云老本行,考考他! 除了最后一条,…

【指标计算】老妈再也不担心我的指标算不好了(教你用MyTT、TA-Lib、Pandas TA计算股票指标,附源代码)

教你用MyTT、TA-Lib、Pandas TA计算股票指标,附源代码 前言一、目前Python流行的几款股票行情分析指标计算库1. MyTT2. Ta-lib3. Pandas TA 二、指标计算的准备工作1.下载MyTT文件2.安装Ta-lib包3. 安装Pandas-ta包 三、分别用MyTT、Talib 、Pandas-ta计算5日均线、…

行业指数的周期以及跑赢指数的分位数是多少?

前言 本篇是量化系列的第一篇文章。《量化十万个为什么》系列旨在讨论一些自己心中的疑问,并且通过尝试解答这些问题来提升自己对于市场的认知水平。 PS:博主水平很辣鸡,请大家轻喷,多多指教! 一、为什么提这个问题&…

如何通过通达信接口获取最近的分钟级别行情数据?

如何通过通达信接口获取最近的分钟级别行情数据?对于做短线策略的交易者来说,得到实盘的量价数据之后,还需要把这些数据转换为各种技术指标,在策略中去使用和分析。 由于本地采样时间和交易所推送数据时间会有微小的差别&#xf…

POSTMAN 启动特别慢解决方案

需要为POSTMAN添加环境变量: 高级系统设置-环境变量 添加一个新的系统变量: 变量名:POSTMAN_DISABLE_GPU 变量值:true 重新启动POSTMAN

GPT套壳还能走多远?第一批AIGC创业公司开始裁员?新初创公司又该如何应对大模型的快速迭代升级?

AIGC创业投融资火爆推进,一则裁员公告却从天而降引爆关注: 公告来自首批AIGC明星独角兽Jasper。 早在ChatGPT爆火之前,AIGC也还不是大家耳熟能详的概念时,这家公司就已经背靠GPT-3,在18个月从白手起家到估值15亿美元。…

【Python】学习笔记

【Python】学习笔记 【Python】1. in和not in操作2.glob3.Pandas.apply()4.df.dropna()5.fine-tune迁移学习——Fine-tune蒸馏 参考文献 【Python】 1. in和not in操作 利用in和not in操作符,可以确定一个值是否在列表中。像其他操作符一样,in和not in…

聚观早报|OpenAI发文介绍保障AI安全的方法;王慧文AI公司正式开张

今日要闻:OpenAI发文介绍保障AI安全的方法;印度或首次参与iPhone15首批供货;胡润全球白手起家U40富豪榜发布;王慧文 AI 公司正式开张;吴以岭卸任以岭药业董事长 OpenAI发文介绍保障AI安全的方法 美国当地时间 4 月 5 …

手写操作系统+shell+文件系统,绝了

去年秋招及年后找工作的小伙伴应该感受到了寒气逼人,机会又少、又卷……加上chatGPT的出现,可以预见未来几年,简单、基础、重复性工作大概率会被机器人取代……我们将何去何从呢?毫无疑问,成为技术大牛! 如…

友盟分享QQ的时候提示应用未正确授权错误码901111

今天打包分享qq的时候突然出现应用未正确授权错误码901111 于是就上友盟和腾讯开放平台上找对应错误码,居然没有发现对应的错误码! 经过一番折腾后发现 这个错误是因为在腾讯开放平台没有提交apk的原因导致的 登录腾讯开放平台选择我们的应用 点击进…

微信授权APP第三方登陆(Android)

前几天负责的程序说是要加入第三方登陆的功能,虽然现在有服务商集成了第三方登陆,但是平时所用的也就微信和QQ,就自己看文档写了,其中也遇到了一些问题,然后我把我做这个的流程贴出来,并附上对应的Demo&…

qq授权登录【网站应用】-java版本

第一步&#xff1a;先去qq互联进行创建网站应用&#xff1a;QQ互联 如下图&#xff1a; 第二步&#xff1a;引入qq的jar包&#xff0c;这里采用maven方式引用 <!--QQ坐标--><dependency><groupId>net.gplatform</groupId><artifactId>Sdk4J<…

微信授权登陆-app

app接入第三方微信登陆功能&#xff1a; 移动应用微信登录是基于OAuth2.0协议标准 构建的微信OAuth2.0授权登录系统&#xff0c;前提你需要到微信开放平台注册开发者帐号&#xff0c;并拥有一个已审核通过的移动应用&#xff0c;并获得相应的AppID和AppSecret&#xff0c;申请…

Polkit授权管理

Polkit的配置&#xff1a; 查看polkit服务&#xff1a; 一个是agent&#xff0c;一个是polkit服务&#xff1b; agent包含监听接口和一个用户界面&#xff08;对话窗口&#xff09;&#xff0c;允许用户输入密码。Authentication Agent API Reference(https://www.freedesktop…