Re60：读论文 FILM Adaptable and Interpretable Neural Memory Over Symbolic Knowledge

2023-12-14 00:26:33

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称：Adaptable and Interpretable Neural Memory Over Symbolic Knowledge
模型名称：Fact Injected Language Model (FILM)

NAACL版网址：https://aclanthology.org/2021.naacl-main.288/

本文是2021年NAACL论文，作者来自谷歌。

这篇论文解决的也是LM中信息更新难（需要改数据重新训练）的问题，提出了可解释的神经符号知识库fact memory，每个元素来自一个三向量组（每个向量对应一个知识库实体或关系）。
entity memory
FILM：masked LM

总之就是这种堆叠的模型……
在这里插入图片描述

这篇论文看起来太堆叠了，没什么值得我现在研究的trick，而且是谷歌论文（谷歌的论文普遍晦涩难懂），所以没有仔细看。

实验

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

这个是考虑到训练集使用数据的问题：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

文章来源:https://blog.csdn.net/PolarisRisingWar/article/details/134982140
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。