【图对比学习】GACN:使用对抗网络增强图对比学习

2023-12-13 07:25:02

#论文题目:Graph Contrastive Learning with Generative Adversarial Network(使用对抗网络增强图对比学习)
#论文地址:https://dl.acm.org/doi/pdf/10.1145/3580305.3599370
#论文源码开源地址:暂无
#论文所属会议:KDD‘23
#论文所属单位:清华、快手

在这里插入图片描述

一、导读

在本文中,使用LightGCN作为GNN编码器,并专注于节点级GCL。

论文提出了一种新颖的图对比学习框架GACN,使用对抗生成网络去生成视图,以解决图对比学习(GCL)在真实世界应用中广泛存在的标签稀缺问题。将图GAN和图对比学习GCL结合进行自监督预训练。
具体来说,GACN通过学习视图分布和利用GCL的节点互信息最大化,可以在有限甚至无标签的情况下训练GNNs。通过设计的优化框架,GACN可同时训练图GAN模型和GCL模型。并通过两种精心设计的自监督学习损失函数——图对比损失和贝叶斯个性化排名损失,提高了训练效果。

二、方法

在这里插入图片描述

模型由三部分组成:视图生成器、视图鉴别器和图形编码器。

  • 视图生成器学习边的分布,并通过边采样生成增强视图。
  • 视图鉴别器被设计成将生成器生成的视图与预定义的增强策略(例如,边缘丢失)生成的视图区分开。
  • 视图生成器和视图鉴别器以对抗的方式被训练以生成高质量的视图。这些视图用于在图形编码器中训练健壮的节点表示。
  • 图形编码器与视图鉴别器共享相同的节点表示。

2.1 视图生成器

给定一个图G = (V,E),视图生成器被设计成生成一组扩充视图。对于一个具体的视图G𝑔,我们假设G𝑔的每条边(𝑣𝑖,𝑣𝑗)都与一个随机变量𝑃𝑖,𝑗~ Bernoulli(w𝑖,𝑗)相关联,其中W ∈ R |V|×|V|是一个可学习矩阵,𝑃是一个大小为|V |× |V |的二元矩阵,(𝑣𝑖,𝑣𝑗)是在G𝑔,如果𝑃𝑖,𝑗 = 1,否则被丢弃。如果为了以端到端的方式训练视图生成器,我们将离散的𝑃𝑖,𝑗放松为(0,1)中的连续变量,如下所示:
在这里插入图片描述
在这里插入图片描述
为了约束生成的视图,本文提出了两个规范loss:边计数loss和新边loss。

在这里插入图片描述
在这里插入图片描述
C C C是新边的候选集。

在训练过程中,论文选择与具有最高2,000度的节点相关的边作为候选集,论文解释了如果选前5,000和前10,000。然而,随着训练时间的大量增加,前5,000名或前10,000名相对于前2,000名的性能增益几乎是零。

2.2 图形编码器

图形编码器被设计成学习节点表示,即编码器的参数集是θ𝑓={𝑑(0)𝑣|𝑣∈v },并且通过两个自监督损失来训练,包括图形对比损失和成对贝叶斯个性化排序(BPR)损失。
图对比loss(Graph Contrastive Loss)
对比loss用来增强模型的表征能力。它将正样本的表征拉近,负样本的表征推远。本文有两种视图,分别由图增强策略、视图生成器生成,它们的结点表示为:
?在这里插入图片描述
那么图形对比损失定义为:
?在这里插入图片描述
其中,𝜏𝑓是softmax中的温度超参数。
贝叶斯个性化排名损失
引入这种损失是为了学习适用于下游任务的表示,特别是用于链路预测,直觉是最大化连接节点的相似性,同时最小化断开节点的相似性。形式上,bpr损失定义为:
在这里插入图片描述
图编码器的自监督loss为上述两个loss的加和:
在这里插入图片描述

2.3 视图鉴别器

视图鉴别器是一个图形级分类器,用于识别生成的视图。更准确地说,鉴别器将邻接矩阵作为输入,并判断该矩阵是真矩阵(即,由预定义的增强策略生成的矩阵)还是假矩阵(即,由视图生成器生成的矩阵)。形式上,给定一个图G = (V,E),我们将由预定义的增强策略(即,本工作中的边缘丢失)生成的视图集表示G𝑝,将由视图生成器生成的视图集表示G𝑔。
因此,对于每个𝐺 ∈ Gp∪ Gg,GNN编码器𝑓用于编码每个节点的表示:
在这里插入图片描述
本文将编码器输出,做平均池化、最大池化,并将两种池化的结果拼接,作为图的表示:
在这里插入图片描述
其中⊕是连接操作。通过图形表示,使用一个多层感知机去计算图(真实)的概率:
在这里插入图片描述
分类loss为:
在这里插入图片描述

2.4 模型优化

在这里插入图片描述
模型的优化算法流程如上,其中3-7行为视图生成器的优化流程,8-12行为视图判别器的优化流程,13-17行为图编码器的优化流程。

三、结论

3.1 节点分类

在这里插入图片描述

3.2 链路预测

在这里插入图片描述

3.3 消融实验

在这里插入图片描述

四、结论

本文将图生成对抗网络(Graph GANs)与节点级任务的图对比学习(GCL)相结合,提出了一种新的图神经网络模型——GACN,利用图GAN生成增强视图进行GCL。具体而言,GACN开发了一个视图生成器、视图鉴别器和图编码器,以自监督学习的方式学习节点表示。此外,作者还提出了一个新颖的优化框架来联合训练GACN的各个模块。通过在七个真实世界的数据集上进行全面的实验,作者实证了GACN的优越性。作者未来计划,将GACN开发以处理异构和动态图。

文章来源:https://blog.csdn.net/CRW__DREAM/article/details/134925160
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。