研究：人工神经网络比我们想象的更类似于大脑

在下图中考虑动物。如果您识别出它，大脑中一系列快速的神经元激活就会将其图像与其名称和您知道的其他信息（栖息地，大小，饮食，寿命等）联系起来。但是，如果像我一样，您以前从未见过这种动物，那么您的头脑现在正在遍历各种动物，比较尾巴，耳朵，爪子，鼻子，鼻子和其他所有东西，以确定该奇怪生物属于哪个桶。您的生物神经网络正在重新处理您过去的经验以应对新情况。

经过数百万年的发展磨砺，我们的大脑是非常高效的处理机器，可以将通过感官输入获得的大量信息分类，将已知项目与各自的类别相关联。

顺便说一下，那张照片是一只印度灵猫，是一种濒临灭绝的物种，与猫，狗和啮齿动物无关。应该将其放在自己的单独类别（病毒）中。你去。现在，您有了一个新的存储桶来放置civet，其中包括最近在印度发现的这种变体。

尽管我们还没有学到很多关于大脑如何工作的知识，但我们正处于（或者可能仍处于起步阶段）创建自己的人类大脑版本的时代。经过数十年的研究和开发，研究人员已经设法创建了深度神经网络，有时在特定任务中与人类的表现相匹配或超越。

但是，关于人工智能的讨论中反复出现的主题之一是，深度学习中使用的人工神经网络是否类似于我们大脑的生物神经网络。许多科学家同意，人工神经网络是对大脑结构的非常粗略的模仿，并且一些人认为，人工神经网络是无法反映大脑许多功能的统计推理引擎。他们相信，大脑包含许多超越生物神经元的联系的奇观。

最近发表在同行评审杂志《神经元》上的一篇论文挑战了人脑功能的传统观点。该论文的标题为“直接适应自然：生物和人工神经网络的进化观点”，讨论了与许多科学家的看法相反的人脑是一种蛮力的大数据处理器，其参数适合于许多实例。它的经验。这就是通常对深度神经网络的描述。

这份发人深省的论文是由普林斯顿大学的研究人员撰写的，它对神经网络，人工神经网络及其生物学对应物之间的类比，以及创建功能更强大的人工智能系统的未来方向提供了不同的见解。

人工智能的可解释性挑战

例如，我可以解释我对灵猫图片的分析所经历的复杂的心理过程（当然，在我知道它的名字之前），例如：“它绝对不是鸟，因为它没有羽毛和翅膀。当然不是鱼。毛茸茸的外套可能是哺乳动物。耳朵尖的人可能是猫，但脖子有点长，而且身体形状有些怪异。鼻子有点像啮齿动物，但腿比大多数啮齿动物更长……”最后，我得出的结论是，它可能是猫的一种深奥的物种。（以我的辩护，如果您坚持的话，那是猫科动物的远亲。）

但是，人工神经网络常常被当作无法解释的黑匣子。他们没有提供有关决策过程的丰富解释。当涉及由数百个（或数千个层）和数百万个（或数十亿个）或参数组成的复杂深度神经网络时，尤其如此。

在训练阶段，深度神经网络会检查数百万张图像及其相关标签，然后盲目地将其数百万个参数调整为从这些图像中提取的模式。然后，这些调整后的参数使它们可以确定新图像属于哪个类别。他们不理解我刚才提到的更高层次的概念（脖子，耳朵，鼻子，腿等），而只是寻找图像像素之间的一致性。

《直接适应自然》的作者承认，生物和人工神经网络在电路结构，学习规则和目标功能方面都可能存在很大差异。

研究人员写道：“但是，鉴于网络的输入或环境，所有网络都使用迭代优化过程来追求目标，这一过程我们称为’直接拟合’。” “直接拟合”一词的灵感来自于进化过程中观察到的盲拟合过程，这是一种优雅而漫不经心的优化过程，在此过程中，不同的生物通过长期进行的一系列随机遗传转化来适应其环境。

作者写道：“该框架削弱了传统实验方法的假设，并与发展和生态心理学领域的长期争论产生了意料之外的联系。”

人工智能界面临的另一个问题是可解释性和泛化之间的权衡。科学家和研究人员一直在寻找可以在更大范围内推广AI功能的新技术和结构。经验表明，对于人工神经网络，规模可以提高泛化能力。处理硬件的进步和大型计算资源的可用性使研究人员能够在合理的时间内创建和训练大型神经网络。事实证明，这些网络在执行复杂任务（例如计算机视觉和自然语言处理）方面具有明显的优势。

然而，人工神经网络的问题在于，它们变得越大，它们变得越不透明。由于其逻辑分布在数以百万计的参数中，因此与为每个特征分配一个系数的简单回归模型相比，它们变得难以解释。简化人工神经网络的结构（例如，减少层次或变量的数量）将使解释它们如何将不同的输入特征映射到其结果变得更加容易。但是，较简单的模型也无法处理自然界中复杂而混乱的数据。

“我们认为神经计算是建立在蛮力直接拟合的基础上的，蛮力直接拟合依赖于过度参数化的优化算法来提高预测能力（泛化），而无需明确地建模世界的潜在生成结构。” ”写。

人工智能的泛化问题

假设您要创建一个AI系统来检测图像和视频中的椅子。理想情况下，您将为算法提供一些椅子图像，并且能够检测所有类型的正常以及古怪和时髦的图像。

这是人工智能长期以来追求的目标之一，创建可以很好地“外推”的模型。这意味着，在给出问题域的几个示例的情况下，该模型应该能够提取基本规则，并将其应用于以前从未见过的大量新颖示例中。

当处理简单的（大多数是人工的）问题域时，可能可以通过将深层神经网络调整为一小组训练数据来达到推断水平。例如，在具有有限特征（例如销售预测和库存管理）的域中，可以达到这种概括水平。（但是，正如我们在这些页面中所看到的，当环境发生根本变化时，即使是这些简单的AI模型也可能会崩溃。）

但是，当涉及到诸如图像和文本之类的杂乱无章的数据时，小数据方法往往会失败。在图像中，每个像素有效地变成一个变量，因此分析一组100×100像素图像成为10,000个维的问题，每个维都有成千上万个可能性。

普林斯顿大学的研究人员写道：“在参数空间的不同部分存在复杂的非线性和变量之间的相互作用的情况下，从这种有限的数据进行推断必然会失败。”

许多认知科学家认为，人脑可以依靠内在的生成规则，而不会暴露于来自环境的丰富数据。另一方面，普遍的看法是，人工神经网络不具备这种能力。这是“直接适应自然”的作者的挑战。

将神经网络直接拟合到问题域

研究人员指出：“对问题空间进行密集采样可以颠覆预测问题，将基于外推的问题转变为基于内插的问题。”

本质上，有了足够的样本，您将能够捕获问题域足够大的区域。这样就可以通过简单的计算在样本之间进行内插，而无需提取抽象规则来预测超出训练示例范围的情况的结果。

“当数据结构复杂且多维时，能够在真实参数空间内基于插值进行预测的’无心’直接拟合模型优于传统的理想拟合显式模型，后者无法解释数据”，“直接适应自然”的作者写道。

随着计算硬件的发展，过去十年来，非常大的数据集的可用性使人们可以创建直接拟合的人工神经网络。互联网拥有来自各个领域的各种数据。科学家从Wikipedia，社交媒体网络，图像存储库等创建大量的深度学习数据集。的来临物联网（IOT）也使从物理环境（道路，建筑物，天气，机构等），丰富的采样。

在许多类型的应用程序（即监督学习算法）中，收集的数据仍然需要大量的体力劳动才能将每个样本与其结果相关联。但是，尽管如此，大数据的可用性使直接拟合方法可以应用于无法用很少的样本和一般规则表示的复杂领域。

反对这种方法的一个论点是“长尾巴”问题，通常被称为“边缘案例”。例如，在图像分类中，突出的问题之一是流行的训练数据集（例如ImageNet）提供了数百万种不同类型对象的图片。但是由于大多数照片都是在理想的照明条件下并从常规角度拍摄的，因此在这些数据集上训练的深度神经网络无法在稀有位置识别出这些物体。

“长尾巴本身并不涉及新的例子，而是涉及低频或奇怪的例子（例如椅子的奇异景色或形状不相关的椅子）或在新环境中骑行（例如在汽车上开车）。暴风雪或轮胎漏气），”论文的共同作者，普林斯顿神经科学研究所心理学系教授Uri Hasson和普林斯顿神经科学研究所博士后研究员Sam Nastase 在书面评论中对TechTalks说。“请注意，包括人类在内的生物有机体，如人工神经网络，都难以推断出他们从未经历过的环境；例如，许多人在第一次下雪时会失败。”

许多开发人员试图通过盲目地将更多样本添加到训练数据集来增强其深度学习模型的能力，以期涵盖所有可能的情况。这通常不能解决问题，因为采样技术不会扩大数据集的分布，并且容易收集的数据样本不会发现边缘情况。Hasson和Nastase认为，解决方案是通过为目前在分布尾部表现较差的人工神经网络提供更生态，更具体化的采样方案来扩展插值区域。

他们说：“例如，通过允许观察者简单地移动并积极地采样环境（基本上是所有生物体所做的事情），就可以解决经典人类视觉心理物理学中的许多奇怪问题。” “也就是说，长尾现象部分是抽样缺陷。但是，解决方案并不一定是需要更多样本（大部分来自分布主体），而是需要在生物有机体中观察到更复杂的样本（例如，寻求新颖性）。”

许多科学家批评依赖于非常大的神经网络的AI系统，认为人脑非常节省资源。大脑是一个三磅重的物质，消耗的电量仅略高于10瓦。但是，深度神经网络通常需要非常大的服务器，这些服务器可能消耗数兆瓦的功率。

除了硬件之外，将大脑的组成部分与人工神经网络进行比较会得出不同的结论。最大的深度神经网络由数十亿个参数组成。相比之下，人脑由大约1,000万亿个突触构成，这是ANN参数的生物学等效项。此外，大脑是一个高度并行的系统，这使得很难将其功能与人工神经网络进行比较。

普林斯顿大学的研究人员在论文中写道：“尽管大脑当然会受到布线和代谢的限制，但只要我们对所涉及的计算机制了解不多，我们就不应该对计算资源的稀缺提出质疑。”

另一个论点是，与人工神经网络相比，人脑的生物神经网络的输入机制非常差，并且不具有提取和处理大量数据的能力。这使得人脑在不学习基本规则的情况下学习新任务是不可避免的。

公平地说，计算进入大脑的输入非常复杂。但是，我们经常低估了我们处理的大量数据。“例如，我们可能每年接触成千上万个日常类别的视觉样本，并且每个类别可能会在每次遇到的数千个视图中进行采样，从而为视觉系统提供了丰富的培训。同样，在语言方面，研究估计，一个孩子每年要接触数百万个单词。”该论文的作者写道。

超越系统1神经网络

但是，不可否认的一件事是，人类实际上确实从其环境中提取规则，并发展出用于处理和分析新信息的抽象思想和概念。这种复杂的符号操作使人类能够比较和绘制不同任务之间的类比，并执行有效的转移学习。理解和运用因果关系仍然是人脑的独特特征。

“当然，人类可以学习抽象规则并以超越现代人工神经网络的方式推断到新的情况。微积分也许是学习在不同上下文中应用规则的最佳示例。在物理学中发现自然法则是另一个例子，您可以从一组有限的观察中学到非常普遍的规则。” Hasson和Nastase说。

这些功能不是从单个神经网络的激活和交互中产生的，而是跨许多思想和世代积累的知识的结果。

Hasson和Nastase承认，这是直接拟合模型不足的领域。从科学上讲，这称为系统1和系统2思维。系统1是指可以通过死记硬背来学习的任务，例如识别人脸，行走，跑步，驾驶。您可以在不知不觉中执行其中的大多数功能，同时还可以执行其他一些任务（例如，与他人同时走路和说话，开车和收听广播）。但是，系统2需要专注和有意识的思考（您可以在慢跑时解决微分方程吗？）。

“在本文中，我们将快速和自动的System 1功能与缓慢而有意识的认知功能区分开来，” Hasson和Nastase说。“虽然直接拟合使大脑能够胜任，而对所学的解决方案却视而不见（类似于生物学中所有进化的功能性解决方案），并且尽管它解释了系统1在多种情况下学习感知和行动的能力，但它仍然并没有完全解释归因于系统2的人类功能的子集，这似乎对世界的基本结构有了一些明确的了解。”

那么，我们需要开发具有System 2功能的AI算法吗？这是研究界争论不休的领域。包括深度学习先驱Yoshua Bengio在内的一些科学家认为，基于纯神经网络的系统最终将导致系统2级AI。该领域的新研究表明，先进的神经网络结构体现了以前被认为是深度学习无法使用的符号操作能力。

在“直接适应自然”中，作者支持基于纯神经网络的方法。他们在论文中写道：“尽管人类的思想激励着我们接触恒星，但这是建立在系统1的数十亿个直接拟合参数的基础上的。因此，直接拟合插值不是最终目标，而是起点理解高阶认知架构的要点。系统2不会从其他基质中产生。”

另一种观点是创建混合系统，将经典的符号AI与神经网络结合起来。在过去的一年中，该领域备受关注，并且有几个项目表明基于规则的AI和神经网络可以相互补充，以创建比其各个部分的总和更强大的系统。

“尽管非神经符号计算（就控制单元和算术逻辑单元的冯·诺伊曼模型的脉络而言）本身是有用的，并且可能在某种程度上相关，但人类系统2是生物进化的产物并从神经网络中出现。” Hasson和Nastase在对TechTalks的评论中写道。

Hasson和Nastase在他们的论文中扩展了一些可能为神经网络开发更高功能的组件。一个有趣的建议是为神经网络提供一个像其他生物一样体验和探索世界的身体。

Hasson和Nastase表示：“将网络集成到体内以使其能够与世界上的对象进行交互对于促进在新环境中的学习非常必要。” “寻求一种语言模型来从文本语料库中的相邻单词中学习单词的含义，这使网络暴露于高度限制和狭窄的环境中。” 如果网络具有身体并且可以通过与单词相关的方式与对象和人进行交互，则可能会更好地理解上下文中单词的含义。与直觉相反，在神经网络上强加这些“限制”（例如，身体）会迫使神经网络学习更多有用的表示。”