矩阵微分笔记（3）

2023-12-30 18:03:34

前言

这篇笔记的内容是基于参考的文章写出的，公式部分可以会沿用文章本来的式，但会加入我自己的一些思考以及注释，如果读者认为我写的不够好得话可以参考原文章~

本文介绍向量变元的实值标量函数、矩阵变元的实值标量函数中进阶的矩阵求导的技巧：矩阵的迹与一阶实矩阵微分。（本笔记的推导过程会使用到矩阵变元的实值矩阵函数，但矩阵变元的实矩阵函数的求导本笔记不会涉及）看懂本博文需要了解前几篇博文所提及的知识，以及了解线性代数中矩阵乘法、向量内积的知识。

下面有一个求矩阵导数的网站，可以用来验证求导结果是否正确：Matrix Calculus

矩阵求导

1. 矩阵的迹

1.1 定义

$n\times n$ 的方阵 $A_{n\times n}$ 的主对角线元素之和就叫矩阵 $A$ 的迹(trace), 记作 $\operatorname{tr}(\boldsymbol{A})$ ，即 $A$ 的迹为： $\operatorname{tr}(\boldsymbol{A})=a_{11}+a_{22}+\cdots+a_{nn}=\sum_{i=1}^na_{ii}$ 注意：根据矩阵迹的定义可以知道，只有方阵才有迹

1.2 迹的性质

以下不加证明地给出几条矩阵的性质，虽然是以两个矩阵给出的，但是可以推广到多个矩阵时也同样适用

（1）：标量的迹

对于一个标量 $x$ ，由于标量可以看成 $\times 1$ 的矩阵，因此标量的迹就是自身，即 $\mathrm{tr}(x)=x$

（2）：线性法则

矩阵的迹遵循线性可加原则：tr内的加法可以提到tr的外面，即 $\mathbb{tr}(c_1\pmb{A}+c_2\pmb{B}) = c_1\mathbb{tr}(\pmb{A})+c_2\mathbb{tr}(\pmb{B}) \\\\ \tag{3}$ 其中 $c_1$ 和 $c_2$ 是标量

（3）：转置法则

矩阵的转置不会改变矩阵的痕，即 $\mathbb{tr}(\pmb{A})=\mathbb{tr}(\pmb{A}^T)$

（4）：交换法则

对于两个维数都是 $m\times n$ 的矩阵 $A_{m\times n}$ 和 $B_{m\times n}$ ，其中一个矩阵乘以（左乘右乘都可以）另一个矩阵的转置的迹的记过是两个矩阵对应位置的元素相乘的加和，因此我们将矩阵的迹可以理解为向量的点积在矩阵上的推广，即： $\begin{aligned} \mathbb{tr}(\pmb{A}\pmb{B}^T) &= a_{11}b_{11}+a_{12}b_{12}+\cdots+a_{1n}b_{1n}\\ &+ a_{21}b_{21}+a_{22}b_{22}+\cdots+a_{2n}b_{2n}\\ &+ \cdots \\ &+ a_{m1}b_{m1}+a_{m2}b_{m2}+\cdots+a_{mn}b_{mn} \end{aligned} \\\\ \tag{6}$ 这是因为： $\begin{aligned} \mathbb{tr}(\pmb{A}\pmb{B}^T) &=\mathbb{tr}( \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \vdots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \\ \end{bmatrix} \begin{bmatrix} b_{11} & b_{21} & \cdots & b_{m1} \\ b_{12} & b_{22} & \cdots & b_{m2} \\ \vdots & \vdots & \vdots & \vdots \\ b_{1n} & b_{2n} & \cdots & b_{mn} \\ \end{bmatrix} ) \\\\ &= \mathbb{tr} \begin{bmatrix} a_{11}b_{11}+a_{12}b_{12}+\cdots+a_{1n}b_{1n} & * & \cdots & * \\ * & a_{21}b_{21}+a_{22}b_{22}+\cdots+a_{2n}b_{2n} & \cdots & *\\ \vdots & \vdots & \ddots & \vdots \\ * & * & \cdots & a_{m1}b_{m1}+a_{m2}b_{m2}+\cdots+a_{mn}b_{mn} \\ \end{bmatrix}_{m \times m} \\\\ &= a_{11}b_{11}+a_{12}b_{12}+\cdots+a_{1n}b_{1n}\\ &+ a_{21}b_{21}+a_{22}b_{22}+\cdots+a_{2n}b_{2n}\\ &+ \cdots \\ &+ a_{m1}b_{m1}+a_{m2}b_{m2}+\cdots+a_{mn}b_{mn} \end{aligned} \\\\ \tag{7}$ 于是由上述的过程以及矩阵乘积 $A B$ 和 $B A$ 的计算过程，我们可以知道矩阵的迹是遵守交换律的，即 $\mathbb{tr}(\pmb{A}\pmb{B})= \mathbb{tr}(\pmb{B}\pmb{A})$ 其中 $A$ 是 $\times n$ 维的，而 $B$ 是 $\times m$ 维的

2. 矩阵微分的几种情况

2.1 向量变元的实值标量函数

$f(\vec{x}),\vec{x}=[x_1,x_2,\cdots,x_n]^T$ 实际上 $f(\vec{x})$ 就是多元函数，如果 $f(\vec{x})$ 可微，则全微分为 $\begin{aligned}\mathrm{d}f(\vec{x})&={\frac{\partial f}{\partial x_{1}}}\mathrm{d}x_{1}+{\frac{\partial f}{\partial x_{2}}}\mathrm{d}x_{2}+\cdots+{\frac{\partial f}{\partial x_{n}}}\mathrm{d}x_{n} \\ &=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots,\frac{\partial f}{\partial x_n})\begin{bmatrix}\mathrm{d}x_1\\\mathrm{d}x_2\\\vdots\\\mathrm{d}x_n\end{bmatrix}\\&\overset{\text{由标量的性质}}{=\!=\!=\!=\!=\!=\!=\!=\!}\mathrm{tr}((\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots,\frac{\partial f}{\partial x_n})\begin{bmatrix}\mathrm{d}x_1\\\mathrm{d}x_2\\\vdots\\\mathrm{d}x_n\end{bmatrix})\end{aligned}$

2.2 矩阵变元的实值标量函数

$f(\pmb{X}),\pmb{X}_{m\times n}=(x_{ij})_{i=1,j=1}^{m,n}$ 实际上这仍然是多元函数，设其可微，则全微分为

$\begin{aligned} \mathbb{d}f(\pmb{X}) &=\frac{\partial f}{\partial x_{11}}\mathbb{d}x_{11}+\frac{\partial f}{\partial x_{12}}\mathbb{d}x_{12} + \cdots+\frac{\partial f}{\partial x_{1n}}\mathbb{d}x_{1n}\\ &+\frac{\partial f}{\partial x_{21}}\mathbb{d}x_{21}+\frac{\partial f}{\partial x_{22}}\mathbb{d}x_{22} + \cdots+\frac{\partial f}{\partial x_{2n}}\mathbb{d}x_{2n}\\ &+\cdots\\ &+\frac{\partial f}{\partial x_{m1}}\mathbb{d}x_{m1}+\frac{\partial f}{\partial x_{m2}}\mathbb{d}x_{m2} + \cdots+\frac{\partial f}{\partial x_{mn}}\mathbb{d}x_{mn} \end{aligned} \\\ \tag{19}$

我们从上述的结果可以发现，它其实就是矩阵 $(\frac{\partial f}{\partial x_{ij}})_{i=1,j=1}^{m,n}$ 与矩阵 $(\mathrm{d}x_{ij})_{i=1,j=1}^{m,n}$ 对应位置的元素相乘的加和，于是利用矩阵的迹的性质我们可以将这个式写成迹的形式，即： $\begin{aligned} \mathbb{d}f(\pmb{X}) &=\frac{\partial f}{\partial x_{11}}\mathbb{d}x_{11}+\frac{\partial f}{\partial x_{12}}\mathbb{d}x_{12} + \cdots+\frac{\partial f}{\partial x_{1n}}\mathbb{d}x_{1n}\\ &+\frac{\partial f}{\partial x_{21}}\mathbb{d}x_{21}+\frac{\partial f}{\partial x_{22}}\mathbb{d}x_{22} + \cdots+\frac{\partial f}{\partial x_{2n}}\mathbb{d}x_{2n}\\ &+\cdots\\ &+\frac{\partial f}{\partial x_{m1}}\mathbb{d}x_{m1}+\frac{\partial f}{\partial x_{m2}}\mathbb{d}x_{m2} + \cdots+\frac{\partial f}{\partial x_{mn}}\mathbb{d}x_{mn} \\\\ &=\mathbb{tr}( \begin{bmatrix} \frac{\partial f}{\partial x_{11}}&\frac{\partial f}{\partial x_{21}}&\cdots&\frac{\partial f}{\partial x_{m1}} \\ \frac{\partial f}{\partial x_{12}}&\frac{\partial f}{\partial x_{22}}& \cdots & \frac{\partial f}{\partial x_{m2}}\\ \vdots&\vdots&\vdots&\vdots\\ \frac{\partial f} {\partial x_{1n}}&\frac{\partial f}{\partial x_{2n}}&\cdots&\frac{\partial f}{\partial x_{mn}} \end{bmatrix}_{n\times m} \begin{bmatrix} \mathbb{d}x_{11} & \mathbb{d}x_{12} & \cdots & \mathbb{d}x_{1n} \\ \mathbb{d}x_{21} & \mathbb{d}x_{22} & \cdots & \mathbb{d}x_{2n} \\ \vdots&\vdots&\vdots&\vdots\\ \mathbb{d}x_{m1} & \mathbb{d}x_{m2} & \cdots & \mathbb{d}x_{mn} \end{bmatrix}_{m \times n} ) \end{aligned} \\\ \tag{20}$

2.3 矩阵变元的实矩阵函数

矩阵变元的实矩阵函数，其每个元素其实就是一个矩阵变元的实值标量函数 $f_{ij}(X)$

我们定义矩阵变元的实矩阵函数的微分如下：设 $f_{ij}(X)$ 可微，则矩阵变元的实矩阵函数的矩阵微分，就是对每个位置的元素的全微分，且结果布局不变，即： $\begin{aligned} \mathbb{d}\pmb{F}_{p \times q}(\pmb{X}) &= \begin{bmatrix} \mathbb{d}f_{11}(\pmb{X})& \mathbb{d}f_{12}(\pmb{X}) & \cdots & \mathbb{d}f_{1q}(\pmb{X}) \\ \mathbb{d}f_{21}(\pmb{X})& \mathbb{d}f_{22}(\pmb{X}) & \cdots & \mathbb{d}f_{2q}(\pmb{X}) \\ \vdots&\vdots&\vdots&\vdots \\ \mathbb{d}f_{p1}(\pmb{X})& \mathbb{d}f_{p2}(\pmb{X}) & \cdots & \mathbb{d}f_{pq}(\pmb{X}) \end{bmatrix}_{p \times q} \end{aligned} \\\ \tag{21}$ 相应地，类似于矩阵变元的实值标量函数和向量变元的实值标量函数，对于矩阵变元的实矩阵函数的微分也有四条法则：

常数矩阵的矩阵微分： $\mathrm{d}\boldsymbol{A}_{m\times n}=\mathbf{0}_{m\times n}$

线性法则：

相加再微分等于微分再相加，即常数(标量)可以放到括号外： $\mathrm{d}(c_1\boldsymbol{F}(\boldsymbol{X})+c_2\boldsymbol{G}(\boldsymbol{X}))=c_1\mathrm{d}\boldsymbol{F}(\boldsymbol{X})+c_2\mathrm{d}\boldsymbol{G}(\boldsymbol{X})$ 其中 $c_1$ 和 $c_2$ 是常数(标量)

乘法法则： $\begin{aligned}\operatorname{d}(\boldsymbol{F}(\boldsymbol{X})\boldsymbol{G}(\boldsymbol{X}))&=\operatorname{d}(\boldsymbol{F}(\boldsymbol{X}))\boldsymbol{G}(\boldsymbol{X})+\boldsymbol{F}(\boldsymbol{X})\mathrm{d}\boldsymbol{G}(\boldsymbol{X})\end{aligned}$ 其中 $\boldsymbol{F}(\boldsymbol{X})$ 是 ${p\times q}$ 维的， $\boldsymbol{G}(\boldsymbol{X})$ 是 ${q\times s}$ 维的

注意：根据线性代数的内容，由于此时的微分是矩阵，不能交换乘积的左右顺序。

证明： $F(X)\boldsymbol{G}(X)$ 的每个元素都是 $\sum_{k=1}^q[f_{ik}(\boldsymbol{X})g_{kj}(\boldsymbol{X})]$ ，而每个元素的全微分是 $\begin{aligned} \mathbb{d}\left( \sum_{k=1}^q[f_{ik}(\pmb{X})g_{kj}(\pmb{X})] \right) &=\sum_{k=1}^q \mathbb{d}(f_{ik}(\pmb{X})g_{kj}(\pmb{X})) \\\\ &= \sum_{k=1}^q[\mathbb{d}(f_{ik}(\pmb{X}))g_{kj}(\pmb{X})+f_{ik}(\pmb{X})\mathbb{d}g_{kj}(\pmb{X})] \\\\ &= \sum_{k=1}^q[\mathbb{d}(f_{ik}(\pmb{X}))g_{kj}(\pmb{X})]+ \sum_{k=1}^q[f_{ik}(\pmb{X})\mathbb{d}g_{kj}(\pmb{X})] \end{aligned}$ 我们发现在上式中左边的求和式，就是 $\mathrm{d}(F(X)\boldsymbol{G}(X))$ 的每个元素，结果右边的求和式，就是就是 $\mathrm{d}(G(X)\boldsymbol{F}(X))$ 的每个元素。

转置法则：

即转置的矩阵微分等于矩阵微分的转置
$\mathrm{d}\boldsymbol{F}_{p\times q}^T(\boldsymbol{X})=(\mathrm{d}\boldsymbol{F}_{p\times q}(\boldsymbol{X}))^T$ 证明： $\begin{aligned} \mathbb{d}\pmb{F}^T_{p \times q}(\pmb{X}) &= \mathbb{d} \begin{bmatrix} f_{11}(\pmb{X})& f_{21}(\pmb{X}) & \cdots & f_{p1}(\pmb{X}) \\ f_{12}(\pmb{X})& f_{22}(\pmb{X}) & \cdots & f_{p2}(\pmb{X}) \\ \vdots&\vdots&\vdots&\vdots \\ f_{1q}(\pmb{X})&f_{2q}(\pmb{X}) & \cdots & f_{pq}(\pmb{X}) \end{bmatrix}_{q \times p} \\\\ &= \begin{bmatrix} \mathbb{d}f_{11}(\pmb{X})& \mathbb{d}f_{21}(\pmb{X}) & \cdots & \mathbb{d}f_{p1}(\pmb{X}) \\ \mathbb{d}f_{12}(\pmb{X})& \mathbb{d}f_{22}(\pmb{X}) & \cdots & \mathbb{d}f_{p2}(\pmb{X}) \\ \vdots&\vdots&\vdots&\vdots \\ \mathbb{d}f_{1q}(\pmb{X})&\mathbb{d}f_{2q}(\pmb{X}) & \cdots & \mathbb{d}f_{pq}(\pmb{X}) \end{bmatrix}_{q \times p} \\\\ &= \begin{bmatrix} \mathbb{d}f_{11}(\pmb{X})& \mathbb{d}f_{12}(\pmb{X}) & \cdots & \mathbb{d}f_{1q}(\pmb{X}) \\ \mathbb{d}f_{21}(\pmb{X})& \mathbb{d}f_{22}(\pmb{X}) & \cdots & \mathbb{d}f_{2q}(\pmb{X}) \\ \vdots&\vdots&\vdots&\vdots \\ \mathbb{d}f_{p1}(\pmb{X})& \mathbb{d}f_{p2}(\pmb{X}) & \cdots & \mathbb{d}f_{pq}(\pmb{X}) \end{bmatrix}_{p \times q}^T \\\\ &= (\mathbb{d}\pmb{F}_{p \times q}(\pmb{X}))^T \end{aligned}$

3. 矩阵微分

3.1 矩阵微分的意义

$X_{m\times n}$ 可以看成是以自身为矩阵变元的实矩阵函数，它的每个元素是 $x_{ij}$ 。每个元素的全微分是 $\mathrm{d}x_{ij}$ ，因此矩阵 $X_{m\times n}$ 的全微分为： $\mathrm{d}{X}_{m\times n}=\begin{bmatrix}\mathrm{d}x_{11}&\mathrm{d}x_{12}&\cdots&\mathrm{d}x_{1n}\\\mathrm{d}x_{21}&\mathrm{d}x_{22}&\cdots&\mathrm{d}x_{2n}\\\vdots&\vdots&\vdots&\vdots\\\mathrm{d}x_{m1}&\mathrm{d}x_{m2}&\cdots&\mathrm{d}x_{mn}\end{bmatrix}_{m\times n}$ 前面我们提到过，向量可以看成是一种特殊的矩阵，那么向量 $\vec{x}=[x_1,x_2,\cdots,x_n]^T$ 的矩阵微分为 $\mathrm{d}\vec{x}=\begin{bmatrix}\mathrm{d}x_1\\\mathrm{d}x_2\\\vdots\\\mathrm{d}x_n\end{bmatrix}_{n\times1}$ 前面提到过的矩阵微分的基本运算法则，对于矩阵 $X_{m\times n}$ 和向量 $\vec{x}=[x_1,x_2,\cdots,x_n]^T$ 的微分也是适用的。

现在回到矩阵变元的实值标量函数的全微分，即： $\begin{aligned} \mathbb{d}f(\pmb{X}) &=\frac{\partial f}{\partial x_{11}}\mathbb{d}x_{11}+\frac{\partial f}{\partial x_{12}}\mathbb{d}x_{12} + \cdots+\frac{\partial f}{\partial x_{1n}}\mathbb{d}x_{1n}\\ &+\frac{\partial f}{\partial x_{21}}\mathbb{d}x_{21}+\frac{\partial f}{\partial x_{22}}\mathbb{d}x_{22} + \cdots+\frac{\partial f}{\partial x_{2n}}\mathbb{d}x_{2n}\\ &+\cdots\\ &+\frac{\partial f}{\partial x_{m1}}\mathbb{d}x_{m1}+\frac{\partial f}{\partial x_{m2}}\mathbb{d}x_{m2} + \cdots+\frac{\partial f}{\partial x_{mn}}\mathbb{d}x_{mn} \\\\ &=\mathbb{tr}( \begin{bmatrix} \frac{\partial f}{\partial x_{11}}&\frac{\partial f}{\partial x_{21}}&\cdots&\frac{\partial f}{\partial x_{m1}} \\ \frac{\partial f}{\partial x_{12}}&\frac{\partial f}{\partial x_{22}}& \cdots & \frac{\partial f}{\partial x_{m2}}\\ \vdots&\vdots&\vdots&\vdots\\ \frac{\partial f} {\partial x_{1n}}&\frac{\partial f}{\partial x_{2n}}&\cdots&\frac{\partial f}{\partial x_{mn}} \end{bmatrix}_{n\times m} \begin{bmatrix} \mathbb{d}x_{11} & \mathbb{d}x_{12} & \cdots & \mathbb{d}x_{1n} \\ \mathbb{d}x_{21} & \mathbb{d}x_{22} & \cdots & \mathbb{d}x_{2n} \\ \vdots&\vdots&\vdots&\vdots\\ \mathbb{d}x_{m1} & \mathbb{d}x_{m2} & \cdots & \mathbb{d}x_{mn} \end{bmatrix}_{m \times n} ) \end{aligned} \\\ \tag{20}$ 观察上式的结果能够发现，tr 中实际就是前面提到过的Jacabian矩阵的形式，即： $\begin{aligned} \text{D}_{\pmb{X}}f(\pmb{X})&= \frac{\partial f(\pmb{X})}{\partial \pmb{X}^T_{m\times n}} \\\\ &= \begin{bmatrix} \frac{\partial f}{\partial x_{11}}&\frac{\partial f}{\partial x_{21}}&\cdots&\frac{\partial f}{\partial x_{m1}} \\ \frac{\partial f}{\partial x_{12}}&\frac{\partial f}{\partial x_{22}}& \cdots & \frac{\partial f}{\partial x_{m2}}\\ \vdots&\vdots&\vdots&\vdots\\ \frac{\partial f} {\partial x_{1n}}&\frac{\partial f}{\partial x_{2n}}&\cdots&\frac{\partial f}{\partial x_{mn}} \end{bmatrix}_{n\times m} \end{aligned}$ 而第二项实际上就是矩阵 $X_{m\times n}$ 的全微分： $\mathrm{d}{X}_{m\times n}=\begin{bmatrix}\mathrm{d}x_{11}&\mathrm{d}x_{12}&\cdots&\mathrm{d}x_{1n}\\\mathrm{d}x_{21}&\mathrm{d}x_{22}&\cdots&\mathrm{d}x_{2n}\\\vdots&\vdots&\vdots&\vdots\\\mathrm{d}x_{m1}&\mathrm{d}x_{m2}&\cdots&\mathrm{d}x_{mn}\end{bmatrix}_{m\times n}$ 因此，矩阵变元的实值标量函数的全微分可以写成： $\mathrm{d}f(\boldsymbol{X})=\mathrm{tr}(\frac{\partial f(\boldsymbol{X})}{\partial\boldsymbol{X}^T}\mathrm{d}\boldsymbol{X})$ 对于一个矩阵变元的实值标量函数而言，要求其微分，其实就是求 $\frac{\partial f(\boldsymbol{X})}{\partial\boldsymbol{X}^T}$ ，如果能够写成上述形式，那么就完成了计算的过程，但可能你还会想这个分解式是否是唯一的呢？实际上确实就是唯一的，即如果 $\mathrm{d}f(\boldsymbol{X})=\mathrm{tr}(\boldsymbol{A}_1\mathrm{d}\boldsymbol{X})=\mathrm{tr}(\boldsymbol{A}_2\mathrm{d}\boldsymbol{X})$ ，则有 $\boldsymbol{A}_1=\boldsymbol{A}_2$

实际上，由于向量可以看成一种特殊的矩阵，因此向量变元的实值标量函数的全微分可以写成： $\mathrm{d}f(\vec{x})=\mathrm{tr}(\frac{\partial f(\vec{x})}{\partial\vec{x}^T}\mathrm{d}\vec{x})$ 当矩阵变元 $X$ 退化为一个列向量 $\vec{x}$ 时，则有 $\frac{\partial f(\boldsymbol{X})}{\partial\boldsymbol{X}^T}=\frac{\partial f(\vec{x})}{\partial\vec{x}^T}，\mathrm{d}X=\mathrm{d}\vec{x}$ 那么对于实值标量函数而言，不论变元是向量还是矩阵，都可以用如下形式来求解微分： $\mathrm{d}f(\boldsymbol{X})=\mathrm{tr}(\frac{\partial f(\boldsymbol{X})}{\partial\boldsymbol{X}^T}\mathrm{d}\boldsymbol{X})$

下面来看看几个常用的公式，最好能够记忆（因为在各种相关论文中都经常见到）

夹心公式：
$\mathrm{d}(\boldsymbol{A}\boldsymbol{X}\boldsymbol{B})=\boldsymbol{A}\mathrm{d}(\boldsymbol{X})\boldsymbol{B}$ 其中， $A_{p\times m},\boldsymbol{B}_{n\times q}$ 是常数矩阵。

证明：由乘积法则得：
$\mathrm{d}(AXB)=\mathrm{d}(A)XB+A\mathrm{d}(X)B+AX\mathrm{d}B$ 再由常数矩阵微分为 0 可以得：
$\mathrm{d}\boldsymbol{A}=\mathbf{0}_{p\times m},\mathrm{d}\boldsymbol{B}=\mathbf{0}_{n\times q}$ 由此结果，代入 $\mathrm{d}(A)XB+A\mathrm{d}(X)B+AX\mathrm{d}B$ 即可证明

行列式

$\begin{aligned}\mathrm{d}|\boldsymbol{X}|&=|\boldsymbol{X}|\mathrm{tr}(\boldsymbol{X}^{-1}\mathrm{d}\boldsymbol{X})=\mathrm{tr}(|\boldsymbol{X}|\boldsymbol{X}^{-1}\mathrm{d}\boldsymbol{X})\end{aligned}$ 其中 $\boldsymbol{X}_{n\times n}$ 是 $\times n$ 维的

由于行列式是一个实值标量函数，那么我们便可以应用矩阵变元的实值标量函数的公式，即： $\mathrm{d}f(\boldsymbol{X})=\mathrm{tr}(\frac{\partial f(\boldsymbol{X})}{\partial\boldsymbol{X}^T}\mathrm{d}\boldsymbol{X})$

由线性代数的知识，行列式可以按照一行展开，即一行中每个元素乘以它的代数余子式然后求和，我们从矩阵 $X$ 的第 $i$ 行展开：
$|\boldsymbol{X}|=x_{i1}A_{i1}+x_{i2}A_{i2}+\cdots+x_{in}A_{in}$

因此，行列式对元素 $x_{ij}$ 的偏导，即为该元素对应的代数余子式，也就是有： $\frac{\partial|\boldsymbol{X}|}{\partial x_{ij}}=A_{ij}$ 从而行列式对矩阵求导的结果为 $\begin{aligned}\frac{\partial|\boldsymbol{X}|}{\partial\boldsymbol{X}^T}=\begin{bmatrix}A_{11}&A_{21}&\cdots&A_{n1}\\A_{12}&A_{22}&\cdots&A_{n2}\\\vdots&\vdots&\ddots&\vdots\\A_{1n}&A_{2n}&\cdots&A_{nn}\end{bmatrix}\end{aligned}$ 这个结果其实就是伴随矩阵，利用伴随矩阵和行列式以及逆矩阵的关系，有： $X^{-1}=\frac{X^*}{|X|}$ 将该式带入到矩阵变元对标量实值函数的求导公式 $\mathrm{d}f(\boldsymbol{X})=\mathrm{tr}(\frac{\partial f(\boldsymbol{X})}{\partial\boldsymbol{X}^T}\mathrm{d}\boldsymbol{X})$ 中后，可以得到
$\begin{aligned}\mathrm{d}|X|& =\operatorname{tr}(\frac{\partial|\boldsymbol{X}|}{\partial\boldsymbol{X}^T}\mathrm{d}\boldsymbol{X}) \\ &=\operatorname{tr}(|\boldsymbol{X}|\boldsymbol{X}^{-1}\mathrm{d}\boldsymbol{X}) \end{aligned}$ 又因为行列式是标量，由矩阵的迹的性质可以将标量提到迹外，也就是：
$\mathrm{d}|\boldsymbol{X}|=|\boldsymbol{X}|\mathrm{tr}(\boldsymbol{X}^{-1}\mathrm{d}\boldsymbol{X})=\mathrm{tr}(|\boldsymbol{X}|\boldsymbol{X}^{-1}\mathrm{d}\boldsymbol{X})$ 如上所述，证明完毕

逆矩阵

$\mathrm{d}(\boldsymbol{X}^{-1})=-\boldsymbol{X}^{-1}\mathrm{d}(\boldsymbol{X})\boldsymbol{X}^{-1}$ 其中 $\boldsymbol{X}_{n\times n}$ 是 $\times n$ 维的

因为

$XX^{-1}=\boldsymbol{E}$

而常数矩阵微分为 0 , 两边同时取矩阵微分得：

$\operatorname{d}(X)X^{-1}+X\operatorname{d}(X^{-1})=\mathbf{0}$

等式两边左乘 $X^{-1}$ 即得到结果。

3.2 矩阵微分示范

对于实值标量函数
$f(\boldsymbol{X})$ ，满足 $\operatorname{tr}(f(\boldsymbol{X}))=f(\boldsymbol{X})\text{,}\operatorname{d}f(\boldsymbol{X})=\operatorname{tr}(\operatorname{d}f(\boldsymbol{X}))$ ，所以有 $\mathrm df(\boldsymbol{X})=\mathrm d(\mathrm trf(\boldsymbol{X}))=\mathrm t\mathrm r(\mathrm df(\boldsymbol{X}))$ 而如果实值标量函数本身就是某个矩阵函数， $\boldsymbol{F}_{p\times p}(\boldsymbol{X})$ 的迹，如 $\mathrm{tr}\boldsymbol{F}(\boldsymbol{X})$ ，则由全微分的线性法则有 $\mathrm{d}(\mathrm{tr}\boldsymbol{F}_{p\times p}(\boldsymbol{X}))=\mathrm{d}(\sum_{i=1}^pf_{ii}(\boldsymbol{X}))=\sum_{i=1}^p\mathrm{d}(f_{ii}(\boldsymbol{X}))=\mathrm{tr}(\mathrm{d}F_{p\times p}(\boldsymbol{X}))$ 我下面以几个例子作为示范，来看看如何使用矩阵微分求导。

例子1：
$\frac{\partial(\vec{a}^TX\vec{b})}{\partial{X}}=\vec{a}\vec{b}^T$

其中， $\vec{a}_{m\times1},\vec{b}_{n\times1}$ 为常数向量， $\vec{a}_=(a_1,a_2,\cdots,a_m)^T,\vec{b}=(b_1,b_2,\cdots,b_n)^T$ ，矩阵 $X$ 是 $\times n$ 维

证：首先我们由笔记(1)中的内容可以知道上述情况是分子为标量，而分母为矩阵的形式，因此结果的维度是 $\times n$ 维

$\begin{aligned}\mathrm{d}(\vec{a}^T{X}{X}^T\vec{b})&\overset{\text{按tr对标量微分的性质}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\mathrm{tr}(\mathrm{d}(\vec{a}^T{X}{X}^T\vec{b}))\\ &\overset{\text{由夹心公式}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\mathrm{tr}(\vec{a}^T\mathrm{d}({X}{X}^T)\vec{b})\\ &\overset{\text{矩阵乘积微分法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\operatorname{tr}[\vec{a}^T(\operatorname{d}({X}){X}^T+{X}\mathrm{d}{X}^T)\vec{b}]\\ &\overset{\text{tr的线性法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\mathrm{tr}(\vec{a}^T\mathrm{d}({X}){X}^T\vec{b})+\mathrm{tr}(\vec{a}^T{X}\mathrm{d}({X}^T)\vec{b})\\ &\overset{\text{矩阵求导的转置法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\mathrm{tr}(\vec{a}^T\mathrm{d}({X}){X}^T\vec{b})+\mathrm{tr}(\vec{a}^T{X}(\mathrm{d}X)^T\vec{b})\\ &\overset{\text{tr的转置法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\operatorname{tr}({X}^T\vec{b}\vec{a}^T\mathrm{d}{X})+\operatorname{tr}({X}^T\vec{a}\vec{b}^T\mathrm{d}{X})\\ &\overset{\text{tr的线性法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\operatorname{tr}(({X}^T\vec{b}\vec{a}^T+{X}^T\vec{a}\vec{b}^T)\mathrm{d}{X}) \end{aligned}$ 将该式 $\mathrm{d}f({X})=\mathrm{tr}(\frac{\partial f({X})}{\partial{X}^T}\mathrm{d}{X})$ 比较，令 $f(X)=\vec{a}^T{X}{X}^T\vec{b}$ ，便可以得到 $\begin{aligned}&\frac{\partial(\vec{a}^T{X}{X}^T\vec{b})}{\partial{X}^T}={X}^T\vec{b}\vec{a}^T+{X}^T\vec{a}\vec{b}^T\\\\&\frac{\partial(\vec{a}^T{X}{X}^T\vec{b})}{\partial{X}}=\vec {a}\vec {b}^T{X}+\vec {b}\vec {a}^T{X}\end{aligned}$ 证毕

例子2： $\frac{\partial\mathrm{tr}(\boldsymbol{X}^T\boldsymbol{X})}{\partial\boldsymbol{X}}=2\boldsymbol{X}$ 证明：因为
$\begin{aligned}\mathrm{d}(\mathrm{tr}(X^TX))&\overset{\text{按tr对标量微分的性质}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\mathrm{tr}(\mathrm{d}(X^TX))\\ &\overset{\text{矩阵乘积微分法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\operatorname{tr}(\operatorname{d}({X^T}){X}+{X^T}\mathrm{d}{(X)})\\ &\overset{\text{tr的线性法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\operatorname{tr}(\operatorname{d}({X^T}){X})+\operatorname{tr}({X^T}\mathrm{d}{(X)})\\ &\overset{\text{矩阵求导的转置法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\operatorname{tr}((\operatorname{d}({X}))^T{X})+\operatorname{tr}({X^T}\mathrm{d}{(X)})\\ &\overset{\text{tr的转置法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}2\operatorname{tr}({X}^T\mathrm{d}{X})\\ &\overset{\text{tr的线性法则}}{=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!=\!}\operatorname{tr}(2{X}^T\mathrm{d}{X}) \end{aligned}$ 将该式 $\mathrm{d}f({X})=\mathrm{tr}(\frac{\partial f({X})}{\partial{X}^T}\mathrm{d}{X})$ 比较，令 $f(X)=\mathrm{tr}({X^T}{X})$ ，便可以得到 $\begin{aligned}&\frac{\mathrm{tr}({X^T}{X})}{\partial{X}^T}=2{X}^T\\\\&\frac{\mathrm{tr}({X^T}{X})}{\partial{X}}=2X\end{aligned}$ 证毕

例子3：

$\frac{\partial\log|{X}|}{\partial{X}}=({X}^{-1})^T$ 其中 $X$ 是 $\times n$ 的

Emmm，这里我就不看了（请允许我偷个懒- -）

至此，所有的矩阵变元或者向量变元的实值标量函数的一阶矩阵求导都可以用本文的方法进行计算。实际上，由于我们只考虑了实值函数和一阶导数，我们仍然可以定义更高阶的矩阵微分以及将数域推广到复数，但这就属于后话了，以后如果需要的话我会再学习这方面的内容的。

好吧就到此为止了，如果想了解更多的例子，可以从参考的原文章中获取哦，毕竟我也只是来学习的嘛

参考

矩阵求导公式的数学推导（矩阵求导——进阶篇）

张贤达《矩阵分析与应用（第二版）》

文章来源:https://blog.csdn.net/weixin_47255403/article/details/135302439
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系我的编程经验分享网邮箱：veading@qq.com进行投诉反馈，一经查实，立即删除！