编者按：

Actor-Critic方法结合了actor-only方法和 critic-only方法的优势,是一种广泛使用的强化学习方法.该方法的原理为：给定来自于actor的策略,利用critic学习值函数,同时actor可以估计基于critic得到的值函数估计策略梯度.如果actor是固定的,该策略在critic的更新过程中保持不变. 因此,可以使用 时间差分 (TD)学习方法来估计值函数.在critic的更新很多步以后,值函数的估计更加准确,同时也使得actor估计的策略梯度更加准确.

强化学习（ReinforcementLearning）灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。这个方法具有普适性，因此在其他许多领域都有研究，例如博弈论、控制论、运筹学、信息论、模拟优化方法、多主体系统学习、群体智能、统计学以及遗传算法。