近似的同态比较：简单多项式的迭代计算

参考文献：

1. [Gold64] Goldschmidt R E. Applications of division by convergence[D]. Massachusetts Institute of Technology, 1964.
2. [CKKLL19] Cheon J H, Kim D, Kim D, et al. Numerical method for comparison on homomorphically encrypted numbers[C]//International Conference on the Theory and Application of Cryptology and Information Security. Cham: Springer International Publishing, 2019: 415-445.
3. [CKK20] Cheon J H, Kim D, Kim D. Efficient homomorphic comparison methods with optimal complexity[C]//Advances in Cryptology–ASIACRYPT 2020: 26th International Conference on the Theory and Application of Cryptology and Information Security, Daejeon, South Korea, December 7–11, 2020, Proceedings, Part II 26. Springer International Publishing, 2020: 221-256.
4. [LLNK21] Lee E, Lee J W, No J S, et al. Minimax approximation of sign function by composite polynomial for homomorphic comparison[J]. IEEE Transactions on Dependable and Secure Computing, 2021, 19(6): 3711-3727.
5. [LLKN22] Lee E, Lee J W, Kim Y S, et al. Optimization of homomorphic comparison algorithm on rns-ckks scheme[J]. IEEE Access, 2022, 10: 26163-26176.

CKKS 方案只能计算多项式，但是符号函数是阶跃的，难以表示为简单多项式。如果采取完全的插值，随着精度提高，多项式的度数将会是指数级。[CKK20] 提出可以通过迭代一个或两个简单多项式，来快速逼近符号函数，它达到了渐进最优。[LLNK21] 使用若干个 minimax approximate polynomials 的组合来逼近符号函数，用动态规划算法确定它们，实际效率更好。[LLKN22] 继续改进，但提升并不算大。

New Comparison Algorithm

Idea

待计算的两个函数，关系为 $comp(a,b)=(sgn(a?b)+1)/2$
$$\begin{array}{rl}sgn(x)& =?\begin{array}{rlr}1,& & x>0\\ 0,& & x=0\\ ?1,& & x<0\end{array}\\ comp(a,b)& =?\begin{array}{rlr}1,& & a>b\\ 1/2,& & a=b\\ 0,& & a<b\end{array}\end{array}$$
在 [CKKLL19] 中指出如下的公式，
$$comp(a,b)=\underset{k\to \infty }{\lim }\frac{a^k}{a^k+b^k}$$
可以使用迭代算法，

1. 初始化 $a_0=a,b_0=b$
2. 迭代计算 $a_{k+1}\leftarrow a_k^2/(a_k^2+b_k^2)$ 和 $b_{k+1}\leftarrow a_k^2/(a_k^2+b_k^2)$
3. 输出 $a_d=a^{2^d}/(a^{2^d}+b^{2^d})\approx comp(a,b)$

然而这种方法需要计算同态除法，同态方案并不自然支持。[CKKLL19] 使用了 Goldschmidt’s division 算法，但效率很低。

[CKK20] 的目标是找到一个好的简单多项式，并且它的迭代过程中不需要计算除法。首先将 [CKKLL19] 的迭代函数修改为 $f(x)=x^2/(x^2+(1?x^2)),x\in [0,1]$，容易验证

1. 它穿过了 $(0,0),(0.5,0.5),(1,1)$ 三个点
2. 它在区间 $[0,0.5]$ 上是凸的，在区间 $[0.5,1]$ 上是凹的
3. 随着函数迭代 $f^{(d)}$，它将逼近区间 $[0,1]$ 上的阶跃函数

事实上，我们只需要找出类似形状的多项式（不需要多项式分式），依旧可以通过迭代过程逼近这个阶跃函数。迭代过程如图所示：

Core Properties

任意区间 $[c_1,c_2]$ 总是可以缩放平移到 $[?1,1]$ 上，因此我们只考虑符号函数 $sgn(x),x\in [?1,1]$

现在，我们确定形状近似 $f(x)=x^2/(x^2+(1?x^2)),x\in [0,1]$ 的，用于迭代计算 $sgn(x),x\in [?1,1]$ 的多项式应当具备的性质：

1. 它应当是奇函数，假设它的度数为 $2n+1$，记为 $f_n$
2. 它应当穿过两个端点 $f(?1)=?1,f(1)=1$，由于原点附近它是阶跃的，因此难以用多项式正确逼近，我们排除对区间 $[??,?]$ 的逼近
3. 它应当在区间 $[?1,0]$ 上是凸的，在区间 $[0,1]$ 上是凹的，并且凹凸性越强烈越好，我们设置多项式导数在两个端点上最大化重根

使用数学语言描述，

事实上，对于固定的参数 $n$，多项式 $f_n$ 和常数 $c_n$ 都是固定的，
$$\begin{array}{rl}{f}_n(x)& =\sum _{i=0}^n\left(\genfrac{}{}{0ex}{}{2i}{i}\right)?\frac{x(1?x^2{)}^i}{4^i}\\ c_n& =\frac{2n+1}{4^n}?\left(\genfrac{}{}{0ex}{}{2n}{n}\right)=\Theta (\sqrt{n})\end{array}$$
可以计算出某些多项式，

它们的形状如图所示：

我们称多项式 $p(x)$ 在区间 $[?1,1]$ 上满足 $(\alpha ,?)$-close to 函数 $f(x)$，假如
$$\Vert p(x)?f(x){\Vert }_{\infty ,[?1,??]\cup [?,1]}\le 2^{?\alpha }$$
可以证明上述多项式 $f_n$ 的迭代收敛性质：

NewComp

根据等式 $comp(a,b)=(sgn(a?b)+1)/2$ 和近似式 $f_n^{(d)}\approx sgn(n)$，可以给出如下的近似比较算法，

实数多项式 $f_n$ 可以转化为整系数多项式，
$$h_n(x)=\frac{f_n(2x?1)+1}{2}=\sum _{i=0}^n\left(\genfrac{}{}{0ex}{}{2i}{i}\right)?(2x?1)(x?x^2{)}^i$$
并且它满足迭代公式 $h_n^{(d)}(x)=(f_n^{(d)}(2x?1)+1)/2$，于是 $comp(a,b)\approx g_n^{(d)}((a?b+1)/2)$

采取 Paterson-Stockmeyer 算法，每轮迭代中计算 $f_n(x)$ 需要 $C_n:=\Theta (\sqrt{n})$ 次同态乘法，$D_n:=\log n+O(1)$ 乘法深度。迭代次数的下界为
$$d_n:=\frac{1}{\log c_n}\log (1/?)+\frac{1}{\log (n+1)}\log (\alpha ?1)+O(1)$$
我们简记复杂度类 $L(a,b):=a\log (1/?)+b\log (\alpha ?1)+O(1)$，那么 total computation 和 total depth 分别为：
$$\begin{array}{rl}T{C}_n& =d_n?C_n=L\left(\frac{\Theta (\sqrt{n})}{\log c_n},\frac{\Theta (\sqrt{n})}{\log (n+1)}\right)\\ T{D}_n& =d_n?D_n=L\left(\frac{\log n+O(1)}{\log c_n},\frac{\log n+O(1)}{\log (n+1)}\right)\end{array}$$
由于 $c_n=\Theta (\sqrt{n})$，因此前者发散到无穷大，后者会接近 $L(2,1)$（但并不收敛）。计算表明 $n=4$ 的时候 $T{C}_4$ 是最优的，此时有 $T{C}_4=\Theta (1)?\log (1/?)+\Theta (1))?\log (\alpha ?1)+O(1)$，假如 $?=2^{?\alpha }$ 那么就是 $T{C}_4=\Theta (\alpha )$，随近似精度的提升线性增长。

Acceleration

在迭代计算 $f_n^{(d)}$ 的过程中，实际上分为两步。对于 $x\ge ?$，

1. 首先计算 $f_n^{(d_{?})}$，将区间 $[?,1]$ 映射到区间 $[1?\tau ,1]$，其中 $0<\tau <1$ 是某个常数
2. 继续计算 $f_n^{(d_{\alpha })}$，将区间 $[1?\tau ,1]$ 映射到区间 $[1?2^{?\alpha },1]$，它逼近 $sgn(x)=1$

在第一阶段的迭代过程中，其实不需要 $f_n$ 的全部性质。[CKK20] 提出可以用另一个斜率更大的函数 $g$ 来代替，从而更少的迭代次数 $d_{?}$ 就可以达到区间。现在我们确定 $g$ 应当具有的性质，

1. 依旧应当是奇函数
2. 存在常数 $0<\delta <1$，在区间 $(0,\delta ]$ 内严格递增
3. 在区间 $[\delta ,1]$ 中总保持映射到区间 $[1?\tau ,1]$

使用数学语言描述，

对于固定的常数 $\tau$，为了使得 $(0,\delta ]$ 内的导数更大（从而迭代次数更少），我们确定多项式 $g$ 使得最小化常数 ${\delta }_0$，采用迭代算法寻找：

可以证明这个过程收敛到某个多项式 $g_{n,\tau }$，它是导数最大意义下最优的。

[CKK20] 固定 $\tau =1/4$，虽然上述获得的 $g_n$ 并没有关于 $n$ 的简单表达式，但是以精度 $2^{?10}$ 近似为

它们的形状和迭代，如图所示：

修改后的算法为

根据 $g_n$ 的某些启发式性质，可以确定 $g_n^{\prime }(0)$ 的大小和 $g_n(x)$ 逼近 $\pm 1$ 的速率（详见 [CKK20]），最后计算出各自的迭代次数 $d_{?}$ 和 $d_{\alpha }$ 的下界。虽然不同的输入值 $x$ 需要的迭代次数也不同，但它是密文状态的，难以用它来动态地确定迭代次数。

通过和 NewComp 的复杂度做比较，算法 NewCompG 在第一阶段的迭代深度降低了基本一半，因此乘法深度 $T{D}_n$ 和乘法复杂度 $T{C}_n$ 都显著降低。

Application to Min/Max

最大值/最小值可以用绝对值来构造，
$$\begin{array}{rl}\min (a,b)& =\frac{(a+b)?|a?b|}{2}\\ \max (a,b)& =\frac{(a+b)+|a?b|}{2}\end{array}$$
而绝对值可以用符号函数来构造，
$$|x|=x?sgn(x)\approx x?(f_n^{(d_{\alpha })}°g_n^{(d_{?})})(x)$$

对应的收敛性：

Result

[CKK20] 选用了 HEAAN 同态加密库，设置参数 $N=2^{17}$ 和 $q_L\approx 2^{2250}$。由于 CKKS 是 Level FHE，不同层的复杂度不一样，因此它使用 $T{D}_n?T{C}_n$ 作为计算复杂度的描述。在设置 $?=2^{?\alpha }$ 时，依旧是 $n=4$ 最优化，因此选用 $f_4,g_4$

计算复杂度、乘法深度、性能测试：