浅析RoPE旋转位置编码的远程衰减特性

为什么${\theta }_i$的取值会造成远程衰减性

旋转位置编码的出发点为：通过绝对位置编码的方式实现相对位置编码。

对词向量$\mathbf{q}$添加绝对位置信息$m$，希望找到一种函数$f$，使得：
$$<f(\mathbf{q},m),f(\mathbf{k},n)>=g(\mathbf{q},\mathbf{k},m?n)$$
假设词向量是二维的，借用复数来进行求解（具体求解过程参考：https://spaces.ac.cn/archives/8265），最终得到一种可行解：
$$\begin{array}{rl}f(\mathbf{q},m)& =\mathbf{q}{e}^{im\theta }\\ & =\left(\begin{array}{cc}cosm\theta & ?sinm\theta \\ sinm\theta & cosm\theta \end{array}\right)\left(\begin{array}{c}{q}_0\\ q_1\end{array}\right)\end{array}\text{\hspace{1em}?}$$
扩展到多维：

$f(\mathbf{q},m)={\mathbf{R}}_m\mathbf{q}$
$${\mathbf{R}}_m=\left(\begin{array}{ccccccc}cosm{\theta }_0& ?sinm{\theta }_0& 0& 0& ?& 0& 0\\ sinm{\theta }_0& cosm{\theta }_0& 0& 0& ?& 0& 0\\ 0& 0& cosm{\theta }_1& ?sinm{\theta }_1& ?& 0& 0\\ 0& 0& sinm{\theta }_1& cosm{\theta }_1& ?& 0& 0\\ ?& ?& ?& ?& ?& ?& ?\\ 0& 0& 0& 0& ?& cosm{\theta }_{d/2?1}& ?sinm{\theta }_{d/2?1}\\ 0& 0& 0& 0& ?& sinm{\theta }_{d/2?1}& cosm{\theta }_{d/2?1}\end{array}\right)$$
相当于左乘一个旋转矩阵，或者说高维向量，每两维一组，分别旋转一个角度，且不改变模长。

显然，$({\mathbf{R}}_m\mathbf{q}{)}^T({\mathbf{R}}_n\mathbf{k})={\mathbf{q}}^T{\mathbf{R}}_m^T{\mathbf{R}}_n\mathbf{k}={\mathbf{q}}^T{\mathbf{R}}_{n?m}\mathbf{k}$，这样Attention就包含相对位置信息了。


下面分析为什么${\theta }_i$的取值会造成远程衰减性

远程衰减性指的是，对于两个词向量，如果两者相对距离较近，那么它们的注意力分数应该偏高，反之应该偏低。

假设$\mathbf{q}$和$\mathbf{k}$均为ones向量，则$({\mathbf{R}}_m\mathbf{q}{)}^T({\mathbf{R}}_n\mathbf{k})={\mathbf{q}}^T{\mathbf{R}}_{n?m}\mathbf{k}=2{\sum }_{i=0}^{d/2?1}cos(n?m){\theta }_i$，设相对距离$n?m$为$x$，则相对距离为$x$的向量之间注意力得分：
$$g(x)=2\sum _{i=0}^{d/2?1}cosx{\theta }_i$$
如果任意${\theta }_i=0$，则$g(x)=d$，无论相对距离多大，注意力得分都相等

如果任意${\theta }_i=1$，则$g(x)=dcosx$，随着相对距离增大，注意力得分呈周期性变化，但不会震荡衰减：

而作者在${\theta }_i$的选择上，沿用了Sinusoidal位置编码的方案，即${\theta }_i=10000^{?2i/d}$，它会带来一定的远程衰减性。

每个${\theta }_i$，$cosx{\theta }_i$的周期大小$T_i$等于$\frac{2\pi }{{\theta }_i}=\frac{2\pi }{10000^{?2i/d}}=2\pi ?10^{8i/d}$，所以$i$越大，$T_i$越大，最小周期为$T_0=2\pi$，最大周期为$T_{d/2?1}=2\pi ?10^{(4?\frac{8}{d})}$。

如果对于所有的$x$，$x<\frac{1}{4}{T}_{d/2?1}=\frac{\pi }{2}?10^{(4?\frac{8}{d})}$，也就是说，$cosx{\theta }_{d/2?1}$处于单调递减区间（下方的蓝色区间）

由于前面的$cosx{\theta }_i$呈周期变化，而周期变化的函数 + 单调递减的函数 = 震荡递减的函数。因此，注意力得分$g(x)$随着相对距离$x$的增大而震荡减小。

比如在LLaMA中，$d=4096$，$\frac{1}{4}{T}_{d/2?1}$近似于$10^4$，由于实际应用中，最大序列长度一般不会大于$10^4$，所以相对距离$x<\frac{1}{4}{T}_{d/2?1}$一般是成立的，当然，也可以增大${\theta }_i=10000^{?2i/d}$中的10000，这样$T_{d/2?1}$会变得更大。

当$d=4$时，最大周期$T_{d/2?1}$是628，下面的示例$x$会超过$\frac{1}{4}{T}_{d/2?1}$，因此$g(x)$呈周期性，并不是震荡减小

当$d=256$时，下面的示例$x$不超过$\frac{1}{4}{T}_{d/2?1}=14617$，因此震荡减小。