传感器赋能下的自主工业革命

来源：新智元

本文约1700字，建议阅读5分钟

本文为你介绍强化学习最常用的算法。

强化学习（RL）是现代人工智能领域中最热门的研究主题之一，其? X F T R普及度还在不断增长。本文介绍了开始学习RL需要了解的核心要素。戳右边链接上 新智元小程序 了解更多！

强化学习是现代人工智能领域中最热门的研究主题之一，其普Q k : 4及度还在不断增长。

强化学习是什么？和其他机器学习技术有何区别？

强化学习是一种机器学习技术，它使代理能够使用自身行为和经验的7 h 7 U * .反馈通过反复试验在交互式环境中学习。

尽管监督学习和强化学习都使G J L V E用输入和输出之间的映射，但监督学习提供给智能体的反馈是执行任务的正确动作集，而强化学习则将奖/ 7 $ _ k R | h i惩作为正面和负面行为的信号。

无监督学习在目/ S k ^ A e V C标方面有所不同。无监督学习的目标是发现数据点之间的相似点和差异，而在强化学习的情况下，目标是找到合适的5 ( j行为模型，以最大化智能体的总累积奖励。

下图说明了通用强化学习模型3 j I z 0 t w i %的动作奖励反馈回路。

如何制定基本的强化学习问题？

一些描述强化学习问题基本要素的关键术语是：

• 环境-智能体在其中运行的物理状态
• 状态-智能体的当前状况
• 奖励-来自环境的反馈
• 策略-映射9 6 _ q x ? V % V智能体状态到动作的方法
• 值-智能体在特定状态下采取的行动将Y T l获得的未来奖励

强化学习问题可以通W b . Z过游戏来最好地解释。让我们以吃豆人游戏为例，智] 6 i E能体（PacMan）的目标是在网格中吃掉食物，同时避开途中出现的鬼魂。

在这种情况下，网格世界是智能体所作用的交互式环境。智能体成功迟到豆豆会得到奖励，如果智能体被幽灵杀死（输掉了游戏）则会被惩罚u b 9 . M y } i g。

状态值得是智能体在网格世界中的位置，总累积奖励是赢得比赛。

为了建立最优政策，智能体面临探索新状态的困境，同时又要使其N c C e以进行。

对于任何有限的马可夫决策过程（FMDP），Q-学习可以找到一个可以最大化所有步骤的奖励期望的策略，在给定一个部分随机的策略和无限的探索时间，Q-学习可以给出一个最佳的动作选择策略。` - O |“Q”这个字母在强化学习中表示一个动作的品质（quality)。

而SARSA是一种策略上方法，在其中根据e Q - d 1其a N 2当前操作a得出的值来学习值。这两种方法易于实现，但缺乏通用性，因为它们无法估计未知状态的值，这可以通过更高级的算法来克2 5 s x y 6 P z B服，例如使用神经网络来估计Q值的Deep Q-Networks（DQNs）。但是DQN只能处理离散的低维操作空间。

深度确定性策略梯度（DDPG）是一种无模i L = D * h 5 / p型，脱离策略，actor-critic的算法，它通过在高维连续操作空间中学习策略来解决此问题。下图是actor-critic体系结构的表示。

强化学习的实际应用是什么; ` - 6？

由于强化学习需要大量数据，因此它T W 4 A最适用于容易获得模拟数据的领域，例如游戏性，机器人技术。

强化学习被广泛用于构建用于玩计算机游戏的AI。AlphaGo Zero是第一个在古代中国的围棋游戏中击败世界5 % l a = R冠军的计算机程序。其他包括ATARI游戏，西洋双陆棋等。在机器人技术和工) 6 l k h a T n业自动化中，强化学习用于使机器人自己创建有效的自适^ + B ;应控制系统，该系统从自身的经验和行为中学习。DeepMind在“通过异步策略更新进行机器人操纵的深度强化学习”方面的工作就是一个很好的例子。

强化学习的其他应用包括抽象文本摘要引擎，可以从用户交互中学习并随时间改进的对话智能体（文本，语音），学习医疗保健中的最佳治疗策略以及r q 4 * j *用于在线股票交易的基于强化学o U F } _ B C习的智能体。

编辑：于腾凯

—完—

关注清华-青岛4 2 H t u数据科学研究院官方微信公A x Y , [ . u众平台“ THU数据派 ”及姊妹号“ 数据派THU ”获取更多讲座福# X 4 T 4 / { c利及优质内容。