最近读论文看到了强化学习中的Actor-Critic算法。因此了解一下这方面的知识，并记录下来，以防忘记。文章中部分内容也借鉴了其他优秀的博主。

---

一、简介

Actor-Critic 算法是一种综合了策略迭代和价值迭代的集成算法。Actor是利用策略梯度算法实现，Critic使用时序差分实现。Actor-Critic 算法的组成部分为：

• Actor（策略网络）：Actor是策略函数${\pi }_{\theta }(s)$，是一个神经网络，它负责在给定状态下选择动作，输出每个动作的概率分布。该网络的训练目标是最大化累计回报的期望。

  Critic（价值网络）：Critic是值函数$V_{\pi }(s)$，也是一个神经网络，它估计给定状态的价值（状态值）或某个特定动作的价值（动作值）。

二、策略梯度法（Policy Gradient）

策略梯度方法的核心思想是直接优化策略，而不是通过估计价值函数间接优化策略。
具体推导可参考这篇文章：【详解+推导！！】Policy Gradient 策略梯度法

策略梯度法的主要过程是：

1. 初始化一个策略网络$\theta$
2. 用这个策略网络进行$N$次游戏，产生$N$个$\tau$
   
3. 利用这$N$个$\tau$进行梯度上升，调整策略网络的参数：
   
4. 再如此重复2、3步。

三、Q-Learning

Q-learning 是一种无模型的、基于价值的强化学习算法，旨在通过学习 Q 值函数来找到最优策略。Q-learning 不需要环境的模型（即不知道状态转移概率），它通过与环境交互获得奖励信息来进行学习。

具体推导可参考这篇文章：Ｑ Learning概念、更新、代码实现，文章讲得很直白易懂。

大致过程如下：

四、Actor-Critic 算法

具体可以看这篇文章，我认为比较好懂：【深度强化学习】(4) Actor-Critic 模型解析，附Pytorch完整代码

Actor网络的优化目标如下：
$$L_{actor}=\frac{1}{N}\sum _i^{N}log{\pi }_{\ast }(s_t,a_t)(G_t-V(s_t))$$
我的理解：
（1）${\pi }_{\ast }$代表最优策略，${\pi }_{\ast }(s_t,a_t)$表示在状态$s_t$选择动作$a_t$的概率.
（2）$G_t$表示从时间步𝑡开始的 实际累积回报（Return），$V(s_t)$状态值函数，即从状态 $s_t$出发按照当前策略 𝜋 所能期望获得的未来累积奖励的估计值。它通常通过一个神经网络来估计，即价值网络（Critic）。
（3）$G_t-V(s_t)$反映了当前策略与目标策略之间的差异，是一个 优势函数（Advantage Function） 的估计，即 当前实际获得的回报与模型估计的回报之间的差异。当这个差值大于0时，说明实际回报高于预期，表明选择了一个好的动作；反之，当这个差值小于0时，说明实际回报低于预期，表明选择了一个较差的动作。
（4）在实际代码实现中，很难直接获得真正的实际累积回报 $G_t$（特别是在长期任务或持续任务中，因为需要积累未来所有的奖励）。因此，通常会使用 时序差分（TD）误差作为$G_t-V(s_t)$的近似替代来估计优势函数。时序差分误差的定义：

Critic网络的优化目标如下：
Critic 网络的损失函数计算公式采用均方误差损失函数，即 TD 误差值的累计平方值的均值
$$L_{critic}=\frac{1}{N}\sum _i^N(G_t-V(s_t))$$