【图对比学习】GACN：使用对抗网络增强图对比学习

#论文题目：Graph Contrastive Learning with Generative Adversarial Network（使用对抗网络增强图对比学习）
#论文地址：https://dl.acm.org/doi/pdf/10.1145/3580305.3599370
#论文源码开源地址：暂无
#论文所属会议：KDD‘23
#论文所属单位：清华、快手

一、导读

在本文中，使用LightGCN作为GNN编码器，并专注于节点级GCL。

论文提出了一种新颖的图对比学习框架GACN，使用对抗生成网络去生成视图，以解决图对比学习（GCL）在真实世界应用中广泛存在的标签稀缺问题。将图GAN和图对比学习GCL结合进行自监督预训练。
具体来说，GACN通过学习视图分布和利用GCL的节点互信息最大化，可以在有限甚至无标签的情况下训练GNNs。通过设计的优化框架，GACN可同时训练图GAN模型和GCL模型。并通过两种精心设计的自监督学习损失函数——图对比损失和贝叶斯个性化排名损失，提高了训练效果。

二、方法

模型由三部分组成：视图生成器、视图鉴别器和图形编码器。

• 视图生成器学习边的分布，并通过边采样生成增强视图。
• 视图鉴别器被设计成将生成器生成的视图与预定义的增强策略(例如，边缘丢失)生成的视图区分开。
• 视图生成器和视图鉴别器以对抗的方式被训练以生成高质量的视图。这些视图用于在图形编码器中训练健壮的节点表示。
• 图形编码器与视图鉴别器共享相同的节点表示。

2.1 视图生成器

给定一个图G = (V，E)，视图生成器被设计成生成一组扩充视图。对于一个具体的视图G𝑔，我们假设G𝑔的每条边(𝑣_𝑖，𝑣_𝑗)都与一个随机变量𝑃_𝑖,𝑗~ Bernoulli(w_𝑖,𝑗)相关联，其中W ∈ R ^|V|×|V|是一个可学习矩阵，𝑃是一个大小为|V |× |V |的二元矩阵，(𝑣𝑖，𝑣𝑗)是在G𝑔，如果𝑃_𝑖,𝑗 = 1，否则被丢弃。如果为了以端到端的方式训练视图生成器，我们将离散的𝑃_𝑖,𝑗放松为(0，1)中的连续变量，如下所示:


为了约束生成的视图，本文提出了两个规范loss：边计数loss和新边loss。

$C$是新边的候选集。

在训练过程中，论文选择与具有最高2,000度的节点相关的边作为候选集，论文解释了如果选前5,000和前10,000。然而，随着训练时间的大量增加，前5,000名或前10,000名相对于前2,000名的性能增益几乎是零。

2.2 图形编码器

图形编码器被设计成学习节点表示，即编码器的参数集是θ_𝑓={𝑑₍₀₎^𝑣|𝑣∈v }，并且通过两个自监督损失来训练，包括图形对比损失和成对贝叶斯个性化排序(BPR)损失。
图对比loss(Graph Contrastive Loss)
对比loss用来增强模型的表征能力。它将正样本的表征拉近，负样本的表征推远。本文有两种视图，分别由图增强策略、视图生成器生成，它们的结点表示为：
?
那么图形对比损失定义为:
?
其中，𝜏_𝑓是softmax中的温度超参数。
贝叶斯个性化排名损失
引入这种损失是为了学习适用于下游任务的表示，特别是用于链路预测，直觉是最大化连接节点的相似性，同时最小化断开节点的相似性。形式上，bpr损失定义为:

图编码器的自监督loss为上述两个loss的加和：

2.3 视图鉴别器

视图鉴别器是一个图形级分类器，用于识别生成的视图。更准确地说，鉴别器将邻接矩阵作为输入，并判断该矩阵是真矩阵（即，由预定义的增强策略生成的矩阵）还是假矩阵（即，由视图生成器生成的矩阵）。形式上，给定一个图G = (V，E)，我们将由预定义的增强策略（即，本工作中的边缘丢失）生成的视图集表示G𝑝，将由视图生成器生成的视图集表示G𝑔。
因此，对于每个𝐺 ∈ G_p∪ G_g，GNN编码器𝑓用于编码每个节点的表示：

本文将编码器输出，做平均池化、最大池化，并将两种池化的结果拼接，作为图的表示：

其中⊕是连接操作。通过图形表示，使用一个多层感知机去计算图（真实）的概率：

分类loss为：

2.4 模型优化

模型的优化算法流程如上，其中3-7行为视图生成器的优化流程，8-12行为视图判别器的优化流程，13-17行为图编码器的优化流程。

三、结论

3.1 节点分类

3.2 链路预测

3.3 消融实验

四、结论

本文将图生成对抗网络（Graph GANs）与节点级任务的图对比学习（GCL）相结合，提出了一种新的图神经网络模型——GACN，利用图GAN生成增强视图进行GCL。具体而言，GACN开发了一个视图生成器、视图鉴别器和图编码器，以自监督学习的方式学习节点表示。此外，作者还提出了一个新颖的优化框架来联合训练GACN的各个模块。通过在七个真实世界的数据集上进行全面的实验，作者实证了GACN的优越性。作者未来计划，将GACN开发以处理异构和动态图。