文末送书~
最近,人工智能公司OpenAI推出的ChatGPT风靡全球,上线仅两个月,注册用户破亿。
ChatGPT不仅能更好地理解人类的问题和指令,流畅进行多轮对话,此外,还可以根据文字(或语音)描述生成代码(如Python、C、Java代码),显示ChatGPT出解决各种通用问题的能力。许多人相信,ChatGPT不仅是新一代聊天机器人的突破,也将为信息产业带来巨大变革,许多我们平时需要就几个小时、几天的工作,用ChatGPT可能几秒钟!给工作带来的效率和提升,将会是史无前例的。
ChatGPT是语言生成模型,是用人工智能技术来生成内容(AI Generated Content,AIGC)中的一种,像图像、视频和语音的生成模型,如VAE、GAN及扩散模型Stable Diffusion、DALL-E2等构成AIGC的另一个分支。这些模型或算法凭借其强大的生成能力,已成为生成模型的一大热门。
ChatGPT、Diffusion为啥能获得大家的热捧?背后有哪些技术?
01
AIGC背后的主要技术支撑
1. ChatGPT背后的主要技术从架构、微调等方面来说,主要涉及三个核心技术。
(1)Transformer是底层核心架构,Transformer架构有很好的并发性、可扩展性、长距离依赖等特性。
(2)Codex用于代码、文本生成,可以根据用户描述生成代码,而且因其上下文窗口长达8192,无形中大大提升了整个模型推理能力。
(3)人类反馈强化学习(Reinforcement Learning from Human Feedback,RHFL)模型将预训练语言模型按照人类反馈进一步微调以符合人类偏好,利用人类反馈信息直接优化模型。
2.Diffusion模型背后的技术
(1)添加和去噪声技术
(2)变分近似
(3)重参数化
02
本书包含了AIGC的核心内容
本书(《Python深度学习基于PyTorch(第2版)》)涉及AIGC技术的核心内容,本书第8章、第14重点介绍了注意力机制及Transformer架构及其应用,第10章、第16章介绍了生成式网络核心架构(如AE、VAE、GAN等),这些架构包括降噪、重参数化等技术,此外,本书还包括目标检测、强化学习等内容。除理论、原理介绍外,还包括大量可动手实践的实例。
详细内容如下:
本书分为三部分,共19章,第一部分为PyTorch基础,第二部分为深度学习基本原理,第三部分是实战内容。
第一部分(第1~4章)为Python和PyTorch基础部分,也是本书的基础部分,为后续学习打下一个坚实基础。第1章介绍了PyTorch的基石NumPy;第2章介绍PyTorch基础;第3、4章分别介绍PyTorch构建神经网络工具箱和数据处理工具箱等内容。
第二部分(第5~10章)为机器学习、深度学习部分,这是本书核心部分。第5章为机器学习基础;第6章为视觉处理基础;第7章介绍自然语言处理基础;第8章介绍注意力机制,详解介绍Transformer架构;第9章介绍目标检测与语义分割;第10章介绍生成式深度学习相关内容,包括AE,VAE,GAN、CGAN等模型。
第三部分(第11~19章)为深度学习实战,也即前面两部分的具体应用部分。这部分在介绍相关原理、架构的基础上,用PyTorch具体实现的典型实例,最后介绍了强化学习、深度强化学习等内容。具体各章节内容为,第11章用PyTorch实现人脸检测和识别;第12章用PyTorch实现迁移学习、迁移学习结合数据增强等实例;第13章用PyTorch实现中英文互译;第14章介绍了基于Transformer架构的ViT进行图像分类;第15章为语义分割实例;第16章多个生成式网络实例;第17章介绍对抗攻击原理及PyTorch实现对抗攻击实例;第18、19章介绍了强化学习、深度强化学习等基础及多个强化学习实例。
03
配套PPT
为便利大家更好理解本书,特提供PPT文档
PPT文档对书中内容进行提炼,并包括很多gif动画,便于更直观理解相关原理和概念,此外,作为不少拓展,包括GPT-3、ChatGPT、Diffusion Model等内容。
04
展望
人工智能技术更新很快,涉及的内容也越来越广,难度也不断加深,为有志于学习AIGC的在校大学生或在职人员,能系统学习的相关技术,我们正计划出版一本有关AIGC方面的书,为了大家能从根源上把握AIGC,先介绍相关的数学及模型基础,然后介绍Transformer架构及其应用(包括GPT、ChatGPT等),生成式模型及实例(包括VAE,GAN,Diffusion等)、强化学习模型等。
关于作者:吴茂贵,资深大数据和人工智能技术专家,在BI、数据挖掘与分析、数据仓库、机器学习等领域工作超过20年。在基于Spark、TensorFlow、PyTorch等的机器学习和深度学习方面有大量的工程实践经验。著有《Python深度学习:基于TensorFlow》《深度实践Spark机器学习》《自己动手做大数据系统》《深入浅出Embedding原理解析与应用实践》等畅销书。
05
ChatGPT大咖谈系列直播
老样子,文末留言点赞前五名获奖,上述两本选一本
截止时间:2023.3.1 20:00
进NLP群—>加入NLP交流群