作者|瓦利德·萨巴

编译|安东尼奥

编辑|陈

1

可解释的AI (XAI)

由于深度神经网络(DNN)用于决定与人们利益密切相关的决策，如贷款审批、工作申请和法院保释，或一些生死攸关的决策(如高速公路上的突然停车)，所以解释这些决策而不仅仅是生成一个预测分数是必不可少的。

可解释人工智能(XAI)的研究最近集中在反事实例子的概念上。思路很简单:先做一些有预期输出的反事实例子，输入到原网络中；然后，读隐层单元，解释为什么网络会产生一些其他的输出。更正式地说:

因为变量V具有其相关联的值(v1，v2，...).如果v具有值(v’1，v’2，...)并且所有其他变量保持不变，则将返回分数P′。

下面是一个更具体的例子:

“你被拒绝贷款，因为你的年收入是3万英镑。如果你的收入是4.5万，你将获得贷款。”

然而，布朗和斯威夫特(以下简称B W)最近发表的一篇论文表明，反事实例子只是稍微更有意义的对抗性例子。这些例子是通过对输入执行小的和不可观察的干扰而产生的，这导致网络中对它们进行错误分类的高置信度。

此外，反事实例子“解释”了一些特征应该是什么，以便获得正确的预测，但“没有打开黑盒”；也就是说，没有解释算法是如何工作的。文章接着指出，反事实的例子并没有为可解释性提供解决方案，而且“没有语义学，就没有解释”。

事实上，这篇文章甚至提出了更有力的建议:

1)我们或者找到一种方法来提取假设存在于网络隐藏层中的语义，或者

2)承认我们失败了。

瓦利德·萨巴本人对此持悲观态度①。换句话说，他后悔承认我们的失败。以下是他的理由。

2

福多尔和皮里申的“幽灵”

虽然公众完全赞同B W的观点，即“没有语义就没有解释”，但解释深度神经网络中隐含层所表达的语义，从而对深度学习系统产生满意解释的希望无法实现。作者认为，其原因正是30多年前福多尔和皮里申所概述的原因。

照片:杰里·福多尔(左)和泽农·皮里申

Walid S. Saba接着论证:在解释问题出在哪里之前，我们需要注意一个事实，即纯粹的外延模型(如神经网络)无法对系统性和组合性完整性进行建模，因为它们不识别具有可再派生语法和相应语义的符号结构。

因此，神经网络中的表征并不是真正与任何可以解释的东西相对应的“符号”——它们是分布的、相关的、连续的数值，它们本身并不意味着任何可以从概念上解释的东西。

更简单地说，神经网络中的子符号表示本身并不是指任何人类在概念上能够理解的东西(隐藏单元本身不能表示任何形而上的对象)。相反，它是一组隐藏的单元，通常一起代表一些显著的特征(例如，猫的胡子)。

但这就是神经网络无法被解释的原因，也就是因为几个隐藏特征的组合是不确定的——一旦组合完成(通过一些线性组合函数)，单个单元就会丢失(下面我们会展示)。

3

可解释性是“逆向推理”

DNN不会倒着推理

作者已经讨论了为什么福多尔和皮里什恩得出神经网络不能对系统的(因此是可解释的)推理建模的结论[2]。

在符号系统中，有定义明确的组合语义函数，根据成分的意义计算复合词的意义。但是这种结合是可逆的—

也就是说，人们总是可以获得产生这种输出的(输入)成分，也正是因为在符号系统中，人们可以访问一种“句法结构”，这种结构包含了如何组装成分的地图。而NN就不是这样了。向量(张量)一旦在NN中组合，其分解就无法确定(向量(包括标量)可以分解的方式是无限的！)

为了说明为什么这是问题的核心，让我们考虑B W的建议，从DNN提取语义，以实现可解释性。B amp；w的建议是遵循以下原则:

输入图像被标记为“建筑物”，因为通常激活轮毂盖的隐藏神经元41435的激活值是0.32。如果隐神经元41435的激活值为0.87，则输入图像将被标记为“汽车”。

为了理解为什么这不会导致可解释性，注意到神经元41435的激活被要求为0.87是不够的。为简单起见，假设神经元41435只有两个输入，x1和x2。我们现在所拥有的如下图1所示:

注:双输入单个神经元的输出为0.87。

现在，假设我们的激活函数F是流行的ReLU函数，我们可以产生z = 0.87的输出。这意味着对于下表中所示的x1、x2、w1和w2的值，可以获得0.87的输出。

注意:多种输入法可以生成0.87的值。

看上表，很容易看出x1，x2，w1，w2有无数个线性组合，会产生0.87的输出。这里的重点是NN中的组合是不可逆的，所以不可能从任何一个神经元或任何一组神经元中捕捉到有意义的语义。

与b W的口号“没有语义就没有解释”是一致的，我们声明永远无法从NN那里得到任何解释。简而言之，没有可组合性，就没有语义，没有语义，就没有解释，DNN无法为可组合性建模。这可以形式化为:

1.没有语义学就没有解释[1]2。没有可逆组合就没有语义[2]

3.这种结合在DNN是不可逆转的[2]

= gtDNN无法解释(没有XAI)

结束。

顺便说一下，DNN的组合学是不可逆的这一事实除了无法产生可解释的预测之外，还有其他后果，特别是在需要更高级推理的领域，如自然语言理解(NLU)。

尤其是这样的系统真的无法解释一个孩子如何仅仅从()这样的模板中学会如何解读无限多的句子，因为“约翰”、“邻家女孩”、“总是穿着t恤来这里的男孩”都是可能的实例，“经典摇滚”、“名声”、“玛丽的祖母”、“在沙滩上奔跑”等都是可能的例子。

因为这样的系统没有“记忆”，组成也不能颠倒，理论上需要无数的例子来学习这个简单的结构。

最后，作者强调，福多尔和皮里希恩[2]在三十多年前就批评NN是认知架构——他们展示了为什么NN不能对系统性、生产力和可组合性建模，而这些都是谈论任何“语义”所必需的——这种令人信服的批评从未得到完美的回应。

随着解决人工智能可解释问题的需求变得至关重要，我们必须重新审视那篇经典论文，因为它显示了将统计模式识别等同于人工智能进步的局限性。