外显记忆LLM

概念

智能需要知识并且可以通过学习获取知识，这已促使大型深度建构的发展。然而，知识是不同的并且种类繁多。有些知识是隐含的、潜意识的并且难以用语言表达----比如怎么行走或狗与猫的样子有什么不同。其他知识可以是明确的、可陈述的以及可以相对简单地使用词语表达-
每天常识性的知识，如猫是一种动物，或者为实现自己当前目标所需世道的非常具体的事实，如预销售团队会议在141室于下午3:00开始。

神经网络擅长存储隐性知识，但是他很难记住事实。被存储在神经网络参数之前，随机梯度下降需要提供多次相同的输入，即使是如此该输入也不会被特别精确的存储。这是因为神经网络缺乏工作存储系统，即类似人类为实现一些目标而明确保存和操作相关信息片段的系统。这种外显记忆组件将使我们不仅能够快速故意的存储和检索具体事实，也能利用他们循序推理。神经网络处理序列信息需要，改变了每个步骤
向网络注入输入方式，长期以来推理能力被认为是重要的，而不是对输入做出自动的，直观反映。

为了解决一个难题引入了记忆网络，其中包括一组可以通过寻址机制来访问的记忆单元。以及以网络原本需要监督信号指示他们如何使用自己的记忆单元。（人类的能力或者智能就是利用周围的工具辅助自己，故而人工智能也要学会使用工具，比如人工智能他自己有一个电脑有一个网络，他为什么要有自己的记忆呢，他只要知道自己的记忆存储在那个盘里，那个目录下就行了，而不是现在的，大模型，恨不得将所有数据都塞到，模型中。模型需要学会的是利用外部的工具来明确自己的决定和策略。）

神经网络图灵机，通过各种单位，量化参数，基本完成了记忆。