PPO算法

全称Proximal Policy Optimization，是TRPO(Trust Region Policy Optimization)算法的继承与简化，大大降低了实现难度。原论文

算法大致流程

1. 首先，使用已有的策略采样$N$条轨迹，使用这些轨迹上的数据估计优势函数${\hat{A}}_t$，将 { s , a , r , s ′ , A ^ } \{s,a,r,s^\prime,\hat{A}\} {s,a,r,s′,A^}存入Buffer；
2. 接着每次从Buffer里面随机抽样$B$个样本，计算策略误差和值函数误差，更新两个网络参数，重复训练epochs次
3. 最后清空Buffer
4. 循环执行，直至达到比较好的效果

算法伪代码

$\mathrm{Clip}$版本