你听说了吗？微软市值一夜暴涨5450亿美元！

难道是出现了什么颠覆人类的“黑科技”吗？

图1：微软股价变动

没错，就是这个令AI界发生震动的ChatGPT！

ChatGPT因其可以逼真地模拟人类语言、与用户可以自然地交互而火爆出圈。

事实上，爆火的ChatGPT背后潜藏着一门更高深的技术：深度强化学习。

深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，是一种更接近人类思维方式的人工智能方法。

基于这个超强的底层技术，作为用于自然语言处理的深度强化学习机器人，ChatGPT可以通过聊天学习用户的特定主题，并使用传统自然语言处理算法和神经网络来解决问题，从而自动响应对话任务。

眼看着ChatGPT成为当红炸子鸡，你不想了解在背后支撑它的强大技术吗？

如果你已经蠢蠢欲动，不妨来看看小异推荐的这本《深度强化学习实战》。

▲买书籍

看到这个经典封皮，是不是感觉有点熟悉？没错！这又是一本Manning出版的“in Action”系列实战书！

程序员都知道，这个系列的书全部聚焦语言或者技术的实战，讲究的就是一个贴近实际，将理论基础与方法应用充分融合，解决编程中真正存在的问题。

实战系列已经成为无数程序员的常备案头书，这本《深度强化学习实战》自然也不例外。不信就跟小异一起看看它的内容吧！

图2：英文版书籍封面

小异给大家科普一下：这次极具标志性的封面插画名为“来自伊斯特里亚的女子”选自1797年法国出版的图书 Costumes de Différents Pays。

01

 打造适合更多人的AI实战书

对于深度强化学习，2015年是一条分水岭。

2015年2月，DeepMind开发的人工智能程序已经在大约四分之三的雅达利街机游戏中达到或超过了人类高手的水平。DeepMind是Google旗下的前沿人工智能企业，曾4：1击败韩国围棋冠军李世石的AlphaGo程序就是它开发的。

由此，深度强化学习开始走进大众视野。

也正是这一年，本书的两位作者亚历山大·扎伊（Alexander Zai）和布兰登·布朗（Brandon Brown）开始摩拳擦掌，准备参与到人工智能的伟大事业当中。

二人的经历既相似又互补。

亚历山大曾担任沉浸式编码训练营Codesmith首席技术官和技术顾问、Uber软件工程师、Banjo 和亚马逊 AI 机器学习工程师，还是开源深度学习框架 Apache MXNet的贡献者。此外，他还担任两家公司的联合创始人，曾是知名孵化器Y-combinator的参与者。

图3:作者亚历山大的主页

布兰登则是一名机器学习和数据分析博主。大学期间做过兼职软件工程师，但最终选择投身于医疗行业，在医疗保健科技领域担任软件工程师。受深度强化学习的启发，近期专注于计算精神病学的研究。

他们都有着软件工程背景，一直对人工智能满怀兴趣与热情。看到深度学习的惊人成就后，两人便不假思索地投身于深度强化学习之中。

然而，当深入研究强化学习时，他们却遭遇了前所未有的困境——为了解析高等数学和机器学习理论，不得不在数十本教科书和大量研究论文中挣扎。

从泥泞中挣扎爬出后，亚历山大和布兰登恍然大悟：从工程师视角来看，深度强化学习的基础知识实际上很简单，相关的数学知识其实可以转换成程序员更容易理解的语言。

此前他们接触的大多数资源要么过于简单，要么过分高深以至于不具备深厚数学背景的人根本无法理解。

于是，两人一拍即合，决定写一本“不只有领域内专家才看得懂的书”。这样一来，即便是只有编程背景和仅掌握了神经网络基础知识的读者，也可以学懂深度强化学习。

对于这本实战书，两人自信满满地表示：通过学习本书，读者最终可以实现专业技术团队（如DeepMind 和OpenAI）和学术实验室所发明的算法。

也就是说，下一个类似ChatGPT的现象级发明或许就出自你手！

02

 理论开路、代码压轴 ，带你稳赢实战！

相比市面上的同类读物，本书可以说非常新颖！

书中各章都围绕一个具体项目来阐释相应的主题或概念，而不是枯燥、平铺直叙地讲解知识，并且书中的配图也十分通俗易懂，有助于读者更快地理解内容。

看看下面的截图，你就知道它有多好理解啦！

图4：书中的趣味讲解

作者从强化学习中最基础的概念出发，逐层递进，最终引导读者实现新型算法，全书共分为两大部分：

第一部分（第1-5章）：介绍深度强化学习的基础知识

第二部分（第6-11章）：近年来深度强化学习的重大进展与实战项目讲解

作者还对阅读顺序给出了具体建议：在第一部分中，每一章都以前一章的概念知识为基础，因此最好按顺序阅读；对于第二部分，可酌情按照自身情况跳跃着阅读。

除了知识讲解，作为一本主打实战的书，本书自然也少不了代码压轴镇场。

在正文中，作者已经给出了经过精简后、保证项目工作前提下的最少必要代码，有代码基础的读者可以直接按照逻辑自己实现。

图5：书中代码讲解部分

当然，感兴趣的读者也可以使用本书 GitHub（http://mng.bz/JzKp）中的代码来运行和学习书中的项目。两位作者会持续维护和更新代码，保证项目的长期可运行，读者大可放心。

众所周知，算法类的项目运行起来通常比较耗费资源。 

还好，本书所有项目的代码在日常用的笔记本电脑上即可高效运行，无须昂贵的 GPU 或云计算资源。小异掐指一算，这也给读者间接省下了一笔预算，各位读者在学习时无须配置和升级硬件了。

最后还要告诉大家：由于本书旨在帮助读者理解深度强化学习的概念，而不仅仅是如何用 Python 编写代码。

因此，在学完本书后，即便不使用Python 语言也能够通过其他语言或框架来实现相关算法，运用到各类实战当中，毕竟咱们已经掌握了深度强化学习的底层基本原理！

03

 五星好评，推荐必买！

虽然本书的中文版好评还在路上，但是大家还是可以通过国际版好评侧面了解一下本书到底有多受欢迎。

亚马逊上有买家评价本书：“内容与代码都十分精确！”

图6：亚马逊卖家五星好评

“这本书让你思考与混合应用不同的技术，并加强对强化学习技术的理解，相当新颖。我相信在通读书中的案例并进行实验之后，理解和应用最近开发的 DeepMind 算法完全有可能。”

——亚马逊买家Jules

此外，虽然作者的核心目的是教会大家使用神经网络实现强化学习，但也会在教学中穿插很多有关深度学习的其他知识，它们可以应用在强化学习之外的其他问题上。感觉又赚到了！

看到现在，想必你已经迫不及待地想要get这本书了。

但小异还是要提醒各位同学：本书特别适合拥有编程背景（特别是有Python 编程经验）以及对神经网络有基本理解的读者。

就算你没有完全参透其中的原理，至少也应当尝试过用 Python 实现简单的神经网络。对于毫无任何专业基础的读者，阅读本书还是有些吃力的。

04

 把握风口，提前起飞

ChatGPT的“病毒式传播”还没有结束。与此同时，国内有很多专家开始建议将该技术引入各大产业。

科技部高新技术司司长陈家昌在谈及ChatGPT时指出，自然语言模型在众多行业领域都有着广泛的应用潜力。可见，这门技术不仅仅是火在当下，更有可能成为技术圈的常青树。

因此，抓住ChatGPT风口，通过本书打好基础，提前掌握深度强化学习吧！

‍

▲买书籍

文案：老王sai  编辑：fine.  审校：桐希、罗玉淇、吴晋瑜

参考来源：

1.亚马逊销售页面

2.刘庆峰代表谈ChatGPT：应加快推进认知智能大模型建设

—END—

【免费送书】

👇👇👇

本次为大家送出

5本《深度强化学习实战》

参与方法：在「计算机视觉工坊」公众号后台，回复 送书 即可参与

开奖时间：6月5日 9:00