北京大学前沿工程博士论文，来源 : 北京大学前沿计算研究中心

近期，由北京大学前沿计算研究中心助理教授董豪博士等编写的深度强化学习专著：《深度强化学习：基础、研究和应用（Deep : , and ）》开始在预售。英文版预购链接：。中文版预计在年底推出，敬请期待。更多信息，请移步本书主页：

内容概要

深度强化学习是实现智能决策的关键技术之一，对人工智能、机器人、认知科学、金融、资源调配等重大应用需求和研究方向有重要的意义。深度学习是基于深度神经网络的机器学习方法。深度强化学习是强化学习和深度学习的结合体，随着近几十年来深度学习发展的热潮，深度强化学习作为一个新的重要学科分支吸引了越来越多的科研和产业人员的关注。本书从基本强化学习理论，到深度强化学习算法，再到实际应用与实践，给读者带来相对全面且实用的深度强化学习知识，便于读者学习和开展日后研究工作。

本书分为三大部分博士，覆盖了学习深度强化学习所需的所有内容。第一部分介绍了强化学习的基础知识、常用的深度强化学习算法及其实现方法。第二部分对精选的深度强化学习研究方向展开介绍，这对希望开展相关研究的读者非常有意义。为了帮助读者更加深入地理解深度强化学习细节并把相关技术应用到实际中，本书第三部分仔细地讲述了大量应用的实现细节，例如机器人学习跑步、机械臂控制、下围棋、多智能体平台等等，并提供相关的开源代码。

本书可以作为在深度强化学习相关领域工作的教师、学生或工程师的阅读材料和参考书。一方面可以帮助读者从零开始学习强化学习，到深入具体的研究方向；另一方面可以帮助读者快速地把深度强化学习技术用于实际项目中。

编者团队

董豪，北京大学前沿计算研究中心助理教授。于2019年秋获得英国帝国理工学院博士学位。研究重点包括可泛化的机械臂操作、机器人视觉和移动设备自主决策等方面。董豪博士在、ICLR、CVPR、ICCV、ECCV、ICRA、IROS等国际顶尖会议/期刊上发表论文40余篇，引用4000余次上海mba，多次担任国际顶尖会议如、CVPR、AAAI的领域主席。其领导了多个开源项目，例如和，在ACM 2017获得了最佳开源软件奖，并在2021年和2022年获得了OpenI杰出项目奖。在加入北大之前，董博士于2019年秋从英国帝国理工毕业，师从郭毅可教授。在博士之前，董博士分别从英国帝国理工和英国中央兰开夏大学获得一等硕士和一等学士学位，并与郭毅可教授共同创办过人工智能可穿戴硬件公司。

丁子涵，普林斯顿大学博士生。于2019年获得英国帝国理工一等研究生学位在职研究生，本科就读于中国科技大学获物理和计算机双学位。研究方向主要涉及强化学习、机器人控制、计算机视觉等。在ICRA、、AAAI、IJCAI、 等顶级期刊与会议发表多篇论文。是-RLzoo, 和Arena开源项目的贡献者。

仉尚航，加州大学伯克利分校 AI Lab (BAIR) 博士后研究员。于2018年获得卡内基梅隆大学博士学位。研究方向主要涉及深度学习、计算机视觉及强化学习。在、CVPR、ICCV、AAAI等人工智能顶级期刊和会议发表多篇论文。目前主要从事有限样本机器学习理论与算法研究，包括low-shot 、 、meta 等。获得美国2018 Stars in EECS，及Adobe Fund, Award等奖励。

作者团队

本书作者团队全部为一线科研人员和开源社区成员，使用深度强化学习解决不同领域的问题。本书内容缩小了理论和实践之间的距离，提供了大量工程实现的细节和技巧。团队的多样性使得本书风格对不同领域的读者更为友好，并对代码库进行支持和维护。

编者访谈

Q：可否从作者的角度谈一下写书的初衷？

董豪：我们写这本书的初衷是为了更好地做知识传播，打造一本综合性的深度强化学习书籍，从基础代码到新研究方法做全面的覆盖。在信息爆炸的时代，我们希望读者能从一个地方获取到大部分需要的内容。

Q：写作中遇到的最大的困难是什么？

董豪：例子代码开发量是巨大的，我们为了这本书开发了两个强化学习库及一系列的大型应用例子，这需要团队有较好的合作意识。此外北京大学前沿工程博士论文，来源 : 北京大学前沿计算研究中心，作者们大多有自己的工作，都是兼职写这本书，能按计划完成是挺不容易的。这本书从开题到出版用了一年的时间。

Q：最大的收获是什么呢？

董豪：对我来说有两方面的收获。一方面，实现了我们知识传播的初衷。另一方面，对我个人来说，我从其它作者那学习了很多知识。

Q：有什么希望对读者说的话吗？

董豪：这本书这周就要正式出版了，希望能帮助到大家，同时华人读者欢迎加微信群讨论。

专家推荐

I am by the of by the book. From of deep to with code , the to a . Such a style makes the book an ideal study for and . the open- is an for deep to have such a rapid . I am glad that this book is by the open- code. I that this book will be very for who can learn from such a of the field, as well as the who can learn from with hands on using the open code .

-郭毅可，帝国理工学院教授、数据科学研究所所长，香港浸会大学副校长，英国皇家工程院院士，欧洲科学院院士

This book the most entry to deep , the gap and , and of , tips and cheat sheet. The are and from and open who on deep or apply its new in . The book as an for of and .

-陈宝权，北京大学博雅特聘教授，前沿计算研究中心执行主任，IEEE

This is a book in an area—deep (RL). The book a set of tools in a clear and : the and of deep RL, , as well as – . It is for who would like to learn deep RL, to deep RL for their , or to begin in the area of deep RL.

-金驰，普林斯顿大学助理教授

This is a book for pure fans of , in deep .

Deep (DRL) has been our lives and the world since 2013 in many ways (e.g. cars, ). It has the to the ‘ of Go’ than . The same idea is being in , and . DRL the to one of the most : how do human learn from with ? This could be a of the ‘big data’ trap, a path ‘ AI’, as well as a land that no human has .

This book, by a group of young with full in , will show you the world of DRL and your by means of and . to all who want to keep the key to in their own .

-李克之北京大学前沿工程博士论文，伦敦大学学院助理教授

北京科技大学工程博士，化学与化学工程系、生物科学与工程系、固体化学研究所、大兴研究院；

学院简介

北京科技大学化学与生物工程学院成立于2010年，源于建校时期成立的基础部化学专业。经过70年的建设，在学科建设、科学研究和教育教学等方面实现了跨越式发展。学院现设两系、一研究所、一研究院：化学与化学工程系、生物科学与工程系、固体化学研究所、大兴研究院；3个省部级重点实验室：功能分子与晶态材料科学与应用北京市重点实验室、生物工程与传感技术北京市重点实验室、北京科技大学农药残留与环境毒理实验室。

学院现有 1 个一级学科博士授权点，5个硕士学科点博士，1 个博士后科研流动站上海mba，化学学科连续十年进入全球 ESI 排名前 1%，且排名逐年提升。2023年1月，化学学科进入ESI排名世界前1‰。

学院拥有一支具有较高学术水平、结构合理、爱岗敬业、甘于奉献的教师队伍。专任教师中具有高级职称的教师比例为79%，具有博士学位的教师比例为100%，其中硕士，教授39人（博士生导师35人）。学院拥有国家杰出青年科学基金获得者3人，国家重大人才工程入选者3人，国家“万人计划”领军人才3人，国家百千万人才工程2人，享受国务院政府特殊津贴3人，北京市教学名师1人北京科技大学工程博士，化学与化学工程系、生物科学与工程系、固体化学研究所、大兴研究院；，国家重大人才工程入选者（青年项目）5人北京科技大学工程博士，教育部跨世纪/新世纪优秀人才8人，北京市科技新星9人。在校本科生、硕士研究生、博士研究生及留学生 1000 余人。