叶梓,工学博士,高级工程师。现某大型上市企业资深技术专家。
2005年上海交通大学计算机专业博士毕业,在校期间的主研方向为数据挖掘、机器学习、人工智能。毕业后即进入软件行业从事信息化技术相关工作;负责或参与了多项国家级、省市级人工智能及大数据项目的建设工作。在人工智能和大数据应用等方面都有着丰富的经验。
上海交通大学计算机专业博士毕业,在校期间的主研方向为数据挖掘、机器学习、人工智能。毕业后即进入某大型软件上市公司从事大数据、人工智能等技术相关工作,曾先后作为技术经理或总工程师,负责大型信息平台、市级信息平台的建设工作,并参与省级信息平台的建设;主持制定了包括多份信息化工程标准。在大数据应用、人工智能等方面都有着丰富的经验。
大模型技术与应用培训提纲
第一天:基础篇与技术概览
- 上午(3小时)
- 大模型技术基础与最新进展
- 大模型的定义与关键技术概览
- 生成式人工智能(AIGC)概念
- ChatGPT历史与发展
- 一些关键技术
- 人工智能实验环境的搭建
- 机器学习环境与深度学习环境
- Python编程与数据科学工具库介绍
- GPU与cuda
- 深度学习框架:PyTorch
- ChatGPT模型背后的NLP基础知识
- 深度学习算法基础
- MLP与CNN、RNN
- 特殊字符、分词与停用词处理技术
- 词向量与Embedding
- 介绍大模型前沿应用
- 文心一言、通义千问等
- Midjourney等
- 大模型的定义与关键技术概览
- 企业应用场景案例分析
- 金融机构中的智能风险评估系统案例
- 教育机构的个性化学习路径推荐系统案例
- 大模型技术基础与最新进展
- 下午(3小时)
- 大模型的核心技术深入
- Transformer架构的深入解析与优化
- Transformer中的block
- 自注意力机制与多头注意力
- 位置编码(为什么可以抛弃RNN)
- Batch Norm与Layer Norm
- 解码器的构造
- chatGPT的原理介绍
- 指示学习与InstructGPT
- 相关数据集
- 有监督微调(SFT)
- 从人类反馈中RL的思路
- 奖励建模(RM)
- 运用PPO改进
- Transformer架构的深入解析与优化
- 企业应用场景案例分析
- 法律行业的法条自动生成案例
- 法律行业的智能合同审核与咨询案例
- 实战演练:基础模型的使用与体验
- 演示如何使用最新的开源大模型ChatGLM3
- 学员动手操作,体验模型的基本功能及最新特性
- 大模型的核心技术深入
第二天:进阶篇与实战应用
- 上午(3小时)
- 大模型的微调和优化
- ChatGLM部署
- ChatGLM3-6B介绍
- ChatGLM3搭建流程
- 应用场景(工具调用、代码执行)
- 权重量化
- ChatGLM3原理
- Code Interpreter
- 多模态CogVLM
- WebGLM搜索增强
- 大模型训练的高效算法与优化技术
- LoRA
- Prefix Tuning
- P-Tuning
- Prompt Tuning
- freeze
- ChatGLM部署
- 企业应用场景案例分析
- 金融科技中的自动化报告生成与分析案例
- 医疗研究中的文献检索与知识提取案例
- 教育技术中的智能教学辅助工具案例
- 大模型的微调和优化
- 下午(3小时)
- 实战演练:大模型的微调实践
- 演示ChatGLM3微调过程
- 数据准备
- 模型调整
- 结果评估
- 学习LangChain所需的知识储备
- 词嵌入与语义空间
- 高维向量的快速模糊匹配
- 局部敏感哈希(LSH)
- 向量数据库
- 建立企业级对话系统
- LangChain的原理
- 大模型利用的难点与痛点
- Langchain的基本思路
- 关键组件
- 演示ChatGLM3微调过程
- 大模型的部署与运维
- 模型部署的最佳实践,包括容器化、云服务等
- ChatGLM.cpp等
- Docker简介
- K8s简介
- 运维中的监控、调优与安全性管理
- 模型部署的最佳实践,包括容器化、云服务等
- 企业应用场景案例分析
- 企业内部的知识管理系统与智能助手案例
- 卫生行业的智能助手
- 实战演练:大模型的微调实践
通过这个为期两天的培训,学员将能够全面掌握大模型技术的基础知识、最新进展、企业级应用场景以及未来趋势。通过案例分析、实战演练和高级应用开发,学员将能够深入理解并应用大模型技术,为企业带来创新与价值。