深入理解强化学习——马尔可夫决策过程：策略迭代-[贝尔曼最优方程]

分类目录：《深入理解强化学习》总目录

当我们一直采取$\arg \max$操作的时候，我们会得到一个单调的递增。通过采取这种贪心$\arg \max$操作，我们就会得到更好的或者不变的策略，而不会使价值函数变差。所以当改进停止后，我们就会得到一个最佳策略。当改进停止后，我们取让Q函数值最大化的动作，Q函数就会直接变成价值函数，即：
$$Q_{\pi }(s,{\pi }^{\prime }(s))=\underset{a\in A}{\max }{Q}_{\pi }(s,a)=Q_{\pi }(s,\pi (s))=V_{\pi }(s)$$

我们也就可以得到贝尔曼最优方程（Bellman Optimality Equation）：
$$V_{\pi }(s)=\underset{a\in A}{\max }{Q}_{\pi }(s,a)$$

贝尔曼最优方程表明：最佳策略下的一个状态的价值必须等于在这个状态下采取最好动作得到的回报的期望。 当马尔可夫决策过程满足贝尔曼最优方程的时候，整个马尔可夫决策过程已经达到最佳的状态。只有当整个状态已经收敛后，我们得到最佳价值函数后，贝尔曼最优方程才会满足。满足贝尔曼最优方程后，我们可以采用最大化操作，即：
$$V_{\pi }^{?}(s)=\underset{a}{\max }{Q}_{\pi }^{?}(s,a)$$

当我们取让Q函数值最大化的动作对应的值就是当前状态的最佳的价值函数的值。另外，我们给出Q函数的贝尔曼方程：
$$Q_{\pi }^{?}(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}p(s^{\prime }|s,a)V^{?}(s^{\prime })$$

我们上两式合并可得：
$$\begin{array}{rl}{Q}_{\pi }^{?}(s,a)& =R(s,a)+\gamma \sum _{s^{\prime }\in S}p(s^{\prime }|s,a)V^{?}(s^{\prime })\\ & =R(s,a)+\gamma \sum _{s^{\prime }\in S}p(s^{\prime }|s,a)\underset{a}{\max }{Q}^{?}(s^{\prime },a^{\prime })\\ & \\ V^{?}(s)& =\underset{a}{\max }{Q}_{\pi }^{?}(s,a)\\ & =\underset{a}{\max }(R(s,a)+\gamma \sum _{s^{\prime }\in S}p(s^{\prime }|s,a)V^{?}(s^{\prime }))\end{array}$$

接着我们就可以得到Q函数之间的转移。Q学习是基于贝尔曼最优方程来进行的，当取Q函数值最大的状态${\max }_{a^{\prime }}{Q}^{?}(s^{\prime },a^{\prime })$的时候可得：
$$Q^{?}(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}p(s^{\prime }|s,a)\underset{a^{\prime }}{\max }{Q}^{?}(s^{\prime },a^{\prime })$$

参考文献：
[1] 张伟楠, 沈键, 俞勇. 动手学强化学习[M]. 人民邮电出版社, 2022.
[2] Richard S. Sutton, Andrew G. Barto. 强化学习（第2版）[M]. 电子工业出版社, 2019
[3] Maxim Lapan. 深度强化学习实践（原书第2版）[M]. 北京华章图文信息有限公司, 2021
[4] 王琦, 杨毅远, 江季. Easy RL：强化学习教程 [M]. 人民邮电出版社, 2022