大模型的可解释性

? ? ? ? 与特定任务模型相比，基础大模型是在庞大且不同的数据集上进行训练的，可能跨越许多领域和模式。通过这种训练，基础模型学习了非常广泛的行为，这些行为在任务和领域之间可能会有很大的不同，正如它们适应不同类型的下游任务的能力所证明的那样，并表现出针对每个任务的特定行为。以GPT-3为例，它被训练成一个巨大的模型来简单地预测文本中的下一个单词。虽然这是一个非常具体且易于定义的学习任务，但它使GPT-3能够获得远远超过下一个单词预测的能力，通过将其与包含各种互联网文本的庞大训练数据集相结合。因此，当提供一些训练样本时，GPT-3现在可以适应明显超出其原始训练任务范围的行为，例如简单的算术和计算机编程。这表明，即使是回答关于基础模型的看似最简单的问题:它有什么能力?

? ? ? ? 此外，这些不同的功能在多大程度上依赖于不同的或共享的模型机制，类似于模型中的算法构建块，这是一个悬而未决的问题。一方面，基础模型可以被解释为单个模型，它利用一些可推广的模型机制集来跨任务和领域执行良好。在这种情况下，可以通过识别和描述这些机制来获得对其行为的全面理解。另一方面，基础模型对不同任务深刻适应不同行为的能力表明，它们也可以被理解为大量独立专家模型的集合，每个模型都针对特定任务量身定制。例如，GPT-3用于算术的模型参数似乎不太可能与用于从英语翻译成法语的参数有多大关系。在这种情况下，对一个任务中模型行为的解释因此不一定能提供其他任务中行为的信息。我们将其称为基础模型的一个模型-多个模型性质(参见图1)，并认为理解基础模型在一个和多个模型之间的这个频谱中的位置将是理解其行为的核心。

? ? ? ? 为了使这一研究领域系统化，我们提出并讨论了理解基础模型的三个层次:我们首先讨论了理解模型能够做什么的挑战和机遇，然后讨论了为什么它会输出某些行为，最后讨论了它是如何做到的。具体来说，问题的目的是描述模型在不窥视模型内部的情况下可以执行的行为类型，而问题的目的是根据数据中的潜在原因提供模型行为的解释，以及问题的目的是如何理解产生这些行为的内部模型表示和机制。在介绍了所有三个层次之后，我们最后讨论了基础模型的不可解释性和可解释性所导致的潜在后果。

? ? ? ?对一项技术最简单的理解通常被认为是知道这项技术是做什么的。这个看似简单的问题对于基础模型来说是非常具有挑战性的，因为这些模型能够执行无数不可预见的行为和任务。

? ? ? ?特定于任务的神经网络模型被训练成在单一领域执行单一任务，例如图像分类。因此，它们的任务和输入输出域是明确的;然而，即使对于这些模型，在给定特定输入的情况下，要确切知道模型将做什么也可能是一项挑战。例如，对于两个感知上相似的输入，模型行为可能会出乎意料地大不相同或相同数据的两个亚种群(例如，按种族或性别分层)。

? ? ? ?对于基础大模型来说，表征模型行为的挑战被放大了许多倍。模型能够执行的任务空间通常很大且未知，输入和输出域通常是高维且巨大的(例如，语言或视觉)，并且模型较少受限于特定领域的行为或故障模式。例如，考虑一下GPT-3在大型语言语料库上的惊人能力，并随后发展出生成大多数功能的计算机程序片段的能力。因此，表征基础模型行为的一个关键挑战是识别它所具有的能力。甚至更进一步，对于一个基础模型可以执行的每一个任务，可能有很多或者无限多，所有的

? ? ? ?描述基础大模型可以执行的每个“任务”，由于它们的一个模型-多个模型的性质而变得更加复杂(参见图1)。再次以GPT-3为例，表明它可以通过简单的提示来定制许多任务。然而，每个任务都可以通过许多可能的提示来指定，提示的微小变化可能导致模型行为的有意义的变化。例如，电影评论的情感分类任务可以通过呈现电影评论后加上“她对这部电影的情感是……”来指定。或“我的总体感觉是这部电影是……”;尽管这些提示似乎构成了密切相关的任务，但GPT-3对每个提示的响应准确性不同。像这样的观察提出了关于提示特征与由此产生的模型行为之间关系的重要问题。具体来说，对看似相似的提示的有意义的不同反应实际上可以被认为是来自同一个模型，还是来自高度不同的模型机制，并且在一个任务中描述基础模型(或其适应衍生品)的行为是否真的有助于描述模型其他可能的适应行为?

? ? ? ?为了确定基础模型具有和缺少的功能，研究人员可以利用受控评估。在这里，领域专家设计已知需要特定能力的提示，然后研究模型正确响应这些提示的能力。例如，心理语言学家设计了提示，要求语言模型在语法正确的句子和具有特定语法错误的相同句子之间进行选择;知道模型是否始终更喜欢语法正确的句子而不是语法不正确的句子，可以告诉我们模型是否具有识别这种不准确所需的特定语法能力。

? ? ? ?考虑到基础模型可能具有巨大的能力范围，以及我们目前缺乏任何用于先验地确定基础大模型是否具有给定能力的通用方法，像这样的定制评估至关重要。它们允许探索基础模型能够实现的行为范围，同时需要最小的模型访问:我们只需要呈现输入并接收模型输出，我们不需要依赖于对模型的实现或参数的访问。考虑到基础模型可能能够(或不能)完成的无限多的理想和不理想的任务、子任务和行为，表征模型行为和能力将变得越来越具有挑战性和重要性。我们认为，与其依赖少数专家来制定和测试可能的行为，不如将这些类型的分析扩展到测试更多的行为，这将是至关重要的，部分原因是通过向许多学科的不同社区和专家开放这条探索线，以及通过增加对这些评估的访问和规模。

2.?解释行为

? ? ? ? 除了描述基础大模型正在做什么之外，人们还可以尝试通过根据数据中的潜在原因提供对这些行为的解释来描述它执行某些行为的原因。虽然目前提供这种行为解释的解释方法可以揭示影响模型响应的输入的质量，但它们通常需要完全访问模型才能做到这一点，并且通常在阐明任何一般模型机制的能力方面受到限制，基础模型使用这些机制来响应许多输入、任务和领域。

? ? ? ?目前的解释方法通常可以被理解为不同的模型，这些模型旨在为另一个黑箱模型的特定行为提供解释。重要的是,这些方法与被分析行为的模型是分开的，模型本身是不可解释的。这种分离可能是有问题的，因为所提供的解释可能缺乏可信度，因为对行为的原因不可靠和误导。更进一步，不合理的解释可能会诱使人类更加信任不合理的模型。随着我们从特定任务模型过渡到广泛采用基础模型，这些类型的担忧也会增加，因为它们的行为要复杂得多。

? ? ? ?目前的解释方法在很大程度上可以分为提供模型行为的局部或全局解释。局部解释试图解释模型对特定输入的响应，例如，通过将行为的每个输入特征归因于相关性，或通过识别与行为最相关的训练样本。相比之下，全局解释不依赖于特定的输入，而是旨在揭示影响模型行为的整体数据质量，例如，通过综合模型与行为最密切相关的输入。

? ? ? 局部和全局解释为特定任务模型的行为提供了有用的见解。在这里，由此产生的解释通常被认为是导致行为的模型机制的启发式;例如，当模型读取手写数字“7”时，看到一个解释将水平线高度重视，很容易产生这样的印象，即水平线是一个普遍重要的特征，模型使用它来识别所有的7，或者可能区分所有的数字。

? ? ? ?然而，考虑到基础模型的一个模型-多个模型的性质，我们应该注意不要从对行为的特定解释跳到对模型行为的一般假设。虽然目前的解释方法可能会揭示特定的行为，例如，通过识别强烈影响这些行为的数据方面，所得到的解释并不一定能为其他(甚至看似相似的)输入提供对模型行为的见解，更不用说其他任务和领域了。

? ? ? ?另一种方法可能是以自我解释的形式利用基础模型的生成能力，从而完全回避这些类型的事后解释。即通过训练这些模型不仅生成对输入的响应，而且共同生成对该响应的人类可理解的解释。虽然目前还不清楚这种方法是否会在未来取得成果，但我们有理由持怀疑态度:语言模型，以及现在的基础模型，在没有任何事实基础的情况下，在生成流畅、看似合理的内容方面表现出色。简单的自我生成的“解释”也可以效仿。因此，辨别模型创造听起来合理的解释的能力与提供对其行为的真实见解之间的区别是很重要的。

? ? ? ?对系统的深刻理解通常被认为意味着理解系统是如何执行的:它包含哪些知识和机制，以及它们是如何组合成整体的?

如果这确实是可能的，那么描述基础模型中的表征以及在其上运行的机制将是满足彻底理解这些增殖模型的愿望的核心;而无论这些机制是多而具体的，还是少而一般化的，它们都是基础模型在不同任务和领域中采用广泛行为的能力的核心。

? ? ? ?通过理解单个模型机制，我们可以建立对基础大模型复杂行为的组合性理解。一个比数字加法稍微复杂的任务是解决数学单词问题，其中数字带有单位，问题以自然语言呈现。一旦我们理解了模型执行加法的机制(或机制)，我们就可以研究这种机制是否被用作解决单词问题的中间步骤。如果使用了加法机制，我们已经建立了对模型如何解决单词问题的理解，我们增加了对基础模型概括数量和加法概念的信心(而不是另一种相关性或启发式)，而且，我们还增加了对预测模型为什么(它关注的是输入的哪些部分)和输出是什么的能力的信心(两个数字的加法)。如果不使用加法机制，我们可能会保留一种健康的怀疑态度，即这是真正的加法，并且我们可以研究使用哪些表示和机制来代替。

? ? ? ?重要的是要意识到，有许多更复杂和有关模型机制的潜在情况，例如，从名称中的字符或图像中的像素估计种族。在基础模型中建立这种机制的证据及其使用可以支持道德或法律责任，以禁止模型执行预测性警务、市场营销、贷款申请和监视等任务。

? ? ? ?已经出现了大量的方法来研究神经网络模型的这些内部方面。通常，这些方法将模型分离为节点(例如，神经元，层或层的一部分)，然后询问节点中捕获的表示或节点组装的机制。有些方法是假设驱动的:通过假设节点可能捕获某些信息(例如，一个词的语法特征，或一个人的种族)，可以探测所有节点以量化它们提供的信息的数量。其他方法建立在解释方法的基础上，它们不是识别哪些数据导致某种行为，而是寻求识别哪些数据导致某个节点激活，或者哪些节点导致模型中稍后的另一个节点激活，从而揭示模型表示和机制的集合。综合起来，这些方法检查了模型的内部，并为基础模型的行为的持续探索提供了基础。然而，基础模型中潜在的表示和机制的数量是巨大的，特别是考虑到它们的一个模型-多个模型的性质，这些类型的方法通常只捕获模型内部的一小部分。因此，扩大表征和机制的发现并阐明那些与模型行为最相关或最普遍的表征和机制是一个公开的挑战。与解释基础模型的许多方法一样，这些类型的探索将受益包括并支持更多样化和跨学科的研究人员，以及更容易获得、更灵活和可扩展的发现方法。