自解释性AI优于可解释性AI的优势

您是否会相信一种运行良好的人工智能算法，能够在99.9％的时间内做出准确的决策，但却是一个神秘的黑匣子？每个系统都时不时地发生故障，并且一旦发生故障，我们就需要做出解释，尤其是在危及人类生命的情况下。无法解释的系统是不可信的。随着AI社区的创作变得更聪明，更能够处理复杂而关键的任务，这是AI社区面临的问题之一。

在过去的几年中，可解释的人工智能已经成为人们越来越感兴趣的领域。科学家和开发人员正在诸如医学影像分析和自动驾驶汽车等敏感领域部署深度学习算法。但是，这些AI的运行方式令人担忧。研究深度神经网络的内部工作非常困难，而且他们的工程师通常无法确定对他们的输出有贡献的关键因素是什么。

例如，假设神经网络已将皮肤痣的图像标记为癌性的。是因为它在痣中发现了恶性图案，还是因为不相关的元素，例如图像照明，相机类型或图像中存在其他一些伪影（例如笔标记或直尺）？

研究人员开发了各种可解释性技术，可帮助调查由各种机器学习算法做出的决策。但是研究人工智能在医学成像中的应用的科学家丹尼尔·埃尔顿（Daniel Elton）认为，这些方法不足以解决AI的可解释性问题，并无法赢得深度学习模型的信任。

Elton讨论了为什么我们需要从解释AI决策的技术转变为可以像人类一样自行解释其决策的AI模型。他最近在arXiv预印本服务器上发表的论文“自解释性AI作为可解释AI的替代品” ，扩展了这一想法。

当前可解释的AI方法有什么问题？

经典的符号AI系统基于开发人员创建的手动规则。无论他们成长多大和复杂，他们的开发人员都可以逐行跟踪他们的行为，并研究错误直到发生机器错误的地方。相反，机器学习算法通过比较训练示例和创建统计模型来发展其行为。结果，即使对于他们的开发人员，他们的决策逻辑也常常是模棱两可的。

机器学习的可解释性问题是众所周知的，也是经过研究的。在过去的几年中，它引起了著名学术机构和国防部研究部门DARPA的关注。

该领域的工作通常分为两类：全局解释和局部解释。全局解释技术的重点是找到关于机器学习模型如何工作的一般解释，例如它认为输入数据的哪些功能与其决策更相关。本地解释技术的重点是确定特定输入的哪些部分与AI模型的决策有关。例如，他们可能会生成有助于做出特定决策的图像各部分的显着性图。

RISE可解释的AI示例显着性图

RISE生成的显着图示例

所有这些技术“都有缺陷，并且在如何正确解释解释方面存在混乱，” Elton写道。

Elton还挑战了另一种关于深度学习的流行观点。许多科学家认为，深度神经网络从其潜在的问题域中提取高级特征和规则。这意味着，例如，当您在许多标记图像上训练卷积神经网络时，它将调整其参数以检测它们之间共享的各种特征。

的确如此，这取决于您所说的“功能”。有大量研究表明，神经网络实际上可以学习图像和其他数据类型中的重复模式。同时，有大量证据表明，深度学习算法无法学习其训练示例的一般特征，这就是为什么它们严格限于其狭窄领域。

“实际上，深度神经网络是’哑巴’-它们似乎在内部捕获的任何规律性完全是由于向它们馈送的数据，而不是自我指导的’规律性提取’过程，” Elton写道。

Elton 引用了在同行评审的科学杂志Neuron 上发表 的一篇论文，认为事实上，深度神经网络“通过数据点的内插而不是外推来起作用”。

一些研究专注于开发“可解释的” AI模型来替代当前的黑匣子。这些模型使推理逻辑对开发人员可见并透明。在许多情况下，尤其是在深度学习中，将现有模型替换为可解释的模型会导致精度权衡。这将是一个自欺欺人的目标，因为我们选择更复杂的模型是因为它们首先提供了更高的准确性。

“在处理复杂的现实世界数据（例如图像或人类语言）时，尝试将同等精度的深度神经网络压缩到更简单的可解释模型中的尝试通常会失败，” Elton指出。

你的大脑是一个黑匣子

人脑

Elton的主要论据之一是采用不同的观点来理解AI决策。大多数工作着重于打开“ AI黑匣子”并弄清它在非常低的技术水平上是如何工作的。但是当涉及到人类大脑（人工智能研究的最终目标）时，我们从未有过如此保留。

他写道：“人脑似乎也是一个过拟合的’黑匣子’，它会执行插值，这意味着我们对脑功能的理解也需要改变。” “如果进化基于无法解释的模型（大脑），那么我们期望高级AI也属于这种类型。”

这意味着在了解人类决策时，我们很少研究神经元的激活。神经科学方面有很多研究可以帮助我们更好地理解大脑的运作，但是几千年来，我们一直依靠其他机制来解释人类行为。

有趣的是，尽管人脑是一个“黑匣子”，但我们能够彼此信任。这种信任的一部分来自我们有能力以对我们有意义的术语来“解释”我们的决策，”埃尔顿写道。“至关重要的是，为了建立信任，我们必须相信一个人不是故意欺骗性的，他们的口头解释实际上是映射到他们大脑用来做出决定的过程中。”

有一天，科学可能使我们能够在神经元激活水平上解释人类的决定。但是目前，我们大多数人都依靠对我们的决策以及建立彼此信任的机制的可理解的口头解释。

但是，深度学习的解释重点在于调查激活和参数权重，而不是高级的，易于理解的解释。“当我们尝试准确地解释深度神经网络如何进行内插的细节时，我们会远离与用户相关的内容，” Elton写道。

可自我解释的人工智能

基于人类之间存在的信任和解释模型，埃尔顿呼吁“自我解释的人工智能”，就像人类一样，可以解释其决定。

可解释的AI产生两条信息：其决定和该决定的解释。

这是以前已经提出并探讨过的想法。但是，Elton提出的是一种自我解释的AI，它仍然保持其复杂性（例如，具有多个层次的深度神经网络），并且不会为了解释性而牺牲其准确性。

在论文中，Elton建议如何从神经网络中提取相关的因果信息。尽管细节有些技术性，但该技术的基本作用是从神经网络的层中提取有意义的信息并呈现信息，同时避免虚假的相关性。他的方法建立在其他研究人员开发的当前自我解释的AI系统的基础上，并验证了他们神经网络中的解释和预测是否相对应。

可自我解释的人工智能

可自我解释的AI的结构（来源：arxiv.org）

Elton在他的论文中还讨论了指定AI算法限制的需求。神经网络往往会为接收到的任何输入提供输出值。当结果落在“模型的适用范围之外”时，可自我解释的AI模型应该“发出警报”，Elton说。“适用性域分析可以被构造为AI自我意识的一种简单形式，有人认为这是高级AI的AI安全的重要组成部分。”

可自我解释的AI模型应为其输出和解释提供置信度。

适用性和领域分析尤其重要：“对于鲁棒性和信任至关重要的AI系统，如果系统被要求在适用性领域之外工作，则系统可以提醒其用户，” Elton总结道。一个明显的例子就是医疗保健，其中的错误可能导致无法挽回的健康损害。但是，还有许多其他领域，例如银行，贷款，招聘和刑事司法，我们需要了解AI系统的局限性和边界。

其中大部分仍然是假设性的，并且Elton在实现细节方面提供的很少，但是随着可解释的AI格局的发展，这是一个很好的方向。