NMI 2026 | 用于对神经网络与生物大脑进行双向比较的反向预测性方法
今天介绍的是发表在 Nature Machine Intelligence 上的一项研究工作,围绕人工神经网络与生物大脑之间的表征对齐问题提出了新的评估视角。长期以来,领域内主要依赖前向预测性来衡量模型是否“类脑”,但这种单向指标难以揭示模型内部表征是否真正对应神经系统。该研究提出反向预测性,从神经活动出发反向预测模型单元,构建了一种更严格的双向比较框架。分析发现,当前表现优异的模型虽然在前向预测上已接近饱和,但其内部仍包含大量无法被大脑解释的特征维度,反映出深层的表征不匹配。这一工作不仅重新审视了“高性能即类脑”的假设,也为未来模型设计提供了重要方向,即在追求任务性能的同时,进一步约束模型表征向生物系统靠拢。
获取详情及资源:
0 摘要
系统神经科学的一个重要目标在于构建能够刻画灵长类大脑内部表征的计算模型。针对人工神经网络的常规评估通常侧重于前向预测性，即模型特征在多大程度上能够预测神经响应，但并未检验模型表征本身是否可以由神经活动反向预测。相关研究提出了一种诊断性指标——反向预测性，用于量化猕猴下颞皮层的神经响应在多大程度上能够预测人工神经网络单元的激活。
基于这一比较框架，可以观察到一种显著的不对称性：即使某些模型具有较高的前向预测性（约可解释50%的方差），其内部仍包含大量无法由神经活动预测的单元，这些单元对应于生物系统难以访问的表征维度。相比之下，不同个体猕猴之间的映射则表现出对称性，这一现象提供了经验参考，表明上述不对称性源于真实的表征差异。
反向预测性进一步使得区分两类人工神经网络单元成为可能：一类是与下颞皮层共享、与行为相关且可跨物种泛化的“共同”单元，另一类则是缺乏这种一致性的“特有”单元。该指标受特征维度、训练目标以及对抗鲁棒性等因素影响，可作为一种更为保守的诊断与比较工具，为下一代人工神经网络在实现高任务性能的同时提升生物合理性提供指导。
1 引言
在过去十年中,针对视觉任务训练的深度人工神经网络显著推动了对灵长类感觉系统的理解。这类以图像识别为主要优化目标的计算模型,逐渐成为研究灵长类腹侧视觉通路神经处理机制的重要假设生成框架,尤其是在下颞皮层层面。已有一系列代表性研究表明,人工神经网络的内部表征与猕猴V1、V2、V4以及下颞皮层的神经活动之间存在显著相似性,同时在人类视觉、听觉和语言相关脑区中也观察到类似对应关系,凸显了其在神经科学研究中的重要价值。当前最先进的模型通常可以解释约一半的下颞皮层神经响应方差,说明其已经能够捕捉大脑表征结构中的关键特征。
尽管如此,模型与大脑之间的一致性在程度与本质上仍存在明显缺口。传统用于评估二者对应关系的指标是前向预测性,其核心在于通过允许的线性变换衡量模型特征对神经响应的预测能力。这种方法本质上是单向的,只考察模型到神经的映射效果,而未检验反向关系。如果某一人工神经网络能够完美刻画下颞皮层,则模型单元与神经元之间的映射应当具有双向对称性,即从模型到神经以及从神经到模型都应具有相当的预测精度。然而这一关键假设在以往研究中很少被直接检验,相关工作通常通过优化模型以提升前向预测性,默认神经到模型的映射是成立的。
随着研究深入,逐渐认识到两个表征空间即使在一个方向上高度一致,在维度结构或信息内容上仍可能存在差异。换言之,人工神经网络与大脑未必共享全部特征,这种潜在的不对称性无法通过前向指标揭示。模型中可能包含大量与神经响应无关的单元,但只要其中一部分单元能够很好地对应下颞皮层,整体仍可表现出较高的前向预测性。因此,仅依赖前向预测性无法判断模型表征中有多少真正与大脑重叠。
针对这一问题,相关研究提出了反向预测性这一互补指标,其关注的是下颞皮层神经元在多大程度上能够预测人工神经网络单元的激活。这一指标从诊断和比较的角度刻画模型特征空间中有多少部分位于神经群体的线性张成空间之内。处于这一共享子空间中的单元应当能够被神经活动预测,而位于其外的单元则表现出较低的可预测性,从而揭示表征上的不对称性。需要指出的是,较低的反向预测性并不意味着某一表征维度在生物系统中不存在,而是说明在当前采样与线性映射约束下无法从下颞皮层中恢复这一维度。
这一双向分析框架还以猕猴之间的比较作为经验基准。当相同的线性方法应用于两个个体的下颞皮层数据时,前向与反向预测性表现出高度一致性。如果人工神经网络在可观测分辨率上能够作为下颞皮层的等效表征模型,则也应呈现类似的对称性。因此,偏离这种“猕猴-猕猴”对称性的情况意味着模型与大脑之间至少在线性层面存在表征不匹配,尽管非线性对应关系在理论上仍可能存在。
基于大规模猕猴下颞皮层神经记录数据,研究系统比较了多种人工神经网络架构中的表征不对称性,包括经典卷积网络、深层前馈卷积网络、视觉Transformer以及现代卷积模型等。在结合前向预测性与反向预测性的双向评估框架下,可以区分两类单元:一类是能够被下颞皮层稳定预测且同时有助于预测神经活动的“共同单元”,另一类则是与神经活动缺乏一致性的“特有单元”。通过将“猕猴-模型”映射与“猕猴-猕猴”映射进行比较,可以观察到后者具有更强的对称性,从而验证模型与大脑之间的不对称性是真实存在的。
反向预测性揭示了许多仅依赖前向指标无法发现的表征差异,并且其结果会受到有效维度、对抗鲁棒性以及ImageNet分类性能等因素的系统影响,在某些情况下甚至会与前向评估得出不同结论。整体来看,这一工作提出了一种双向诊断标准用于模型与大脑的比较评估。反向预测性不仅能够识别潜在的隐藏不匹配,还为模型设计提供方向,即减少无关的特有维度,推动人工神经网络在实现高任务性能的同时,逐步向更具生物合理性的表征形式发展。
图1 | 预测性能相似但模型内部策略不同。 a, 示意图展示了两种将人工神经网络特征（左）映射到神经响应（右）的情形,突出单元贡献的差异。连线的深浅表示学习得到的线性映射中各单元对神经元的贡献强度,对应于下方线性回归方程中的权重
2 结果
如前所述,在传统从人工神经网络预测神经元活动的基础上,该研究进一步考察了模型与猕猴之间这种关系的对称性。围绕这一目标,分析首先指出仅依赖前向预测性来推断模型与大脑一致性所存在的局限,并引入一种补充性的诊断方法,即评估下颞皮层神经元在多大程度上能够反向预测人工神经网络中对应层的单元活动。
2.1 前向预测性掩盖模型与大脑对齐差异
当前比较人工神经网络与生物视觉系统的主流方法是前向预测性,即模型特征用于预测神经响应的能力。这一方法通过学习从模型特征到神经活动的线性映射,已成为评估模型与大脑一致性的标准基准。然而,随着模型性能的不断提升,尤其是在ImageNet等分类任务上优化的模型,其前向预测性逐渐趋于饱和。在不同架构之间,包括卷积网络与Transformer,猕猴下颞皮层的解释方差通常稳定在约50%左右。
为了说明这一看似相近的性能中潜在的差异,分析比较了DenseNet-161与VGG16两种代表性模型。两者在前向预测性上表现几乎一致,其解释方差分布高度重叠,表面上看具有类似的“类脑性”。然而,进一步分析其实现机制发现显著不同。DenseNet-161中参与回归预测的有效单元更多,而VGG16则包含较大比例对预测贡献接近于零的单元。这一点通过回归权重分布得到验证,VGG16的归一化权重整体更低。
基于这一观察,可以将持续对神经预测贡献较大的单元视为与大脑共享的“共同表征”,而权重接近零的单元则反映模型中特有的维度。因此,前向预测性虽然能够衡量整体预测能力,却无法揭示哪些单元真正驱动这一性能。不同模型可能通过完全不同的内部策略实现相同的前向预测性,这些差异在生物学意义上可能具有重要影响。
2.2 反向预测性揭示模型与大脑之间的不对称性
为弥补前向预测性的不足,研究引入了反向预测性这一指标,其核心问题是神经响应是否能够预测模型单元的激活。这一方法通过对模型中每个单元建立线性回归,利用下颞皮层活动作为输入来预测其激活,并以单元层面的解释方差中位数作为模型的反向预测性得分。
结果显示,反向预测性与前向回归权重之间存在显著正相关,尤其在卷积模型内部这一关系更为明显,说明在结构相似的模型中,反向预测性能够有效识别与神经表征更一致的特征。在这一框架下,可以将单元划分为两类:一类是具有较高反向解释方差的“共同单元”,另一类是反向预测性接近于零的“特有单元”。
进一步通过特征消融实验验证了这一划分的功能意义。移除共同单元会显著降低前向与反向预测性,而移除特有单元则在保持前向预测性的同时提升反向预测性。这表明共同单元构成了与下颞皮层共享的核心表征空间,而特有单元则是导致不对称性的主要来源。
在具体模型比较中,DenseNet-161与VGG16表现出明显差异。尽管二者前向预测性相近,DenseNet-161的反向预测性分布更广且整体更高,而VGG16的分布则集中于接近零的区域。这一结果表明,相似的前向性能可能掩盖深层的表征差异。
在更大规模的模型集合中进行分析后,得到两个关键结论。首先,反向预测性显著低于前向预测性。其次,两者在不同模型之间并不呈正相关关系。这提示,随着模型在任务性能上的优化,其表征结构可能逐渐偏离大脑,而这种偏离无法通过前向指标捕捉。
为排除这种不对称性是否是普遍现象,分析进一步比较了猕猴之间的映射关系。结果显示,在猕猴-猕猴比较中,前向与反向预测性高度一致,呈现明显对称性。这一结果作为经验基准,支持模型与大脑之间的不对称性反映真实的表征差异。
进一步控制模型维度与神经元数量匹配后,这一不对称性仍然存在,说明其并非由特征维度差异引起。同时,模型之间的比较表现出更高的对称性,进一步表明不对称性特异地来源于模型与大脑之间的表征差异。
整体而言,线性双向预测性被用作一种保守的诊断标准,用于识别人工神经网络与生物大脑之间的表征不匹配。即使考虑不同映射方法,这一结论依然保持稳健。
图2 | 反向预测性揭示模型到大脑映射策略的差异。 a, 反向预测性用于衡量神经响应在多大程度上能够预测模型中各个单元的激活。具有较高反向预测性的单元被定义为“共同单元”,而较低反向预测性则对应“特有单元”。b, 不同人工神经网络模型（包括卷积网络、Transformer以及自监督和正则化模型）中,反向预测性与平均归一化回归权重之间的关系。误差条表示各模型单元数量上的中位绝对偏差。统计分析基于64个模型的Spearman相关。c,d, 分别比较DenseNet-161（c）与VGG16（d）的前向（绿色）与反向（蓝色）预测性分布。
2.3 模型结构与训练方式影响与大脑的表征对齐
进一步分析考察了模型设计中的关键因素是否会影响反向预测性,从而影响人工神经网络与猕猴下颞皮层之间的表征一致性。具体而言,重点分析了模型结构选择、ANN-IT层的特征维度以及训练目标在这一诊断框架中的作用。
首先,模型整体参数规模对反向预测性并未产生显著影响,但ANN中与下颞皮层对齐层所包含的单元数量却表现出明显作用。该层单元数量越多,反向预测性反而越低,表明决定不对齐程度的关键因素可能是特征宽度,而非模型整体规模。这意味着更宽的特征空间更容易引入无法被大脑表征所覆盖的维度。
其次,分析了模型的有效维度。该指标通过主成分分析特征值谱的参与比进行量化,反映模型在表示视觉信息时实际使用的维度数量。结果显示,有效维度越高,前向预测性越强,说明高维表征有助于提升对神经响应的预测能力。然而,反向预测性却随着有效维度的增加而显著下降,表明这些高维特征中包含大量无法从下颞皮层神经活动中线性恢复的成分。
随后,进一步考察了训练策略的影响。已有研究表明,某些训练方式可以降低特征维度并提升与神经表征的一致性。在此基础上,分析测试了对抗训练所产生的鲁棒模型。结果显示,对抗鲁棒模型在反向预测性上显著优于非鲁棒模型,说明此类训练方式能够在一定程度上约束模型,使其学习到更符合生物系统的特征结构。
此外,还比较了监督学习与自监督学习在相同架构下的表现。结果显示,监督学习模型在反向预测性上略高于自监督模型,但差异未达到统计显著水平。这一趋势提示自监督学习可能更容易产生与大脑不完全一致的表征结构。
最后,结合任务性能指标进行分析发现,前向预测性与ImageNet分类准确率呈显著正相关,而反向预测性却与该准确率呈显著负相关。这一结果进一步表明,随着模型在任务性能上的提升,其内部表征可能逐渐偏离生物大脑。
总体来看,反向预测性对模型设计选择具有敏感性,而这些影响并不一定与前向预测性或任务性能的提升方向一致,从而揭示了模型优化过程中潜在的表征偏移问题。
图3 | 不同模型中前向与反向预测性并不一致。 a, 上方为数据集中图像示例,下方展示前向与反向预测性的关系。每个点代表一个模型-猕猴组合,涵盖多种架构与训练策略（包括卷积网络、Transformer、自监督模型以及鲁棒与正则化模型）。绿色点表示猕猴-猕猴之间的预测性,由蓝到红的点分别表示人工神经网络到猕猴（前向）与猕猴到人工神经网络（反向）的预测性。b, 与a相同的分析但基于另一组图像数据。误差条在纵轴表示模型单元上的中位绝对偏差,在横轴表示神经元数量（N1=169,N2=107）。图像来源分别见相关文献。
2.4 特有单元反映真实表征差异而非采样限制
进一步分析考察了所谓“特有单元”是否仅源于数据噪声或神经记录采样不足。为排除这一可能性,首先评估了不同个体之间人工神经网络单元可预测性的一致性。以ResNet-50为例,分别利用两只猕猴的数据计算每个单元的反向预测性,结果显示二者之间具有高度相关性,说明不同个体对模型单元的可预测性排序具有良好一致性,这一现象在所有测试模型中均得到重复验证。
随后,针对采样不足的假设进行了直接检验。选取ResNet-50中预测性最低的500个单元,逐步增加用于预测的神经元数量（从20到300）,并评估反向预测性变化。结果表明性能很快达到平台,即使增加神经元数量,这些单元的预测能力也几乎不再提升。这说明这些单元并非由于采样不足而难以预测,而是在当前线性框架下确实无法从猕猴下颞皮层群体活动中恢复。
尽管如此,这些特有单元本身并非不可预测。分析发现,它们可以被其他模型单元很好地预测,尤其是在同一模型实例内部表现出较高的可预测性,而在不同初始化的同一模型之间仍保持一定预测能力,但显著低于同一实例内部。这表明这些单元编码的是具有结构性的表示,但这种结构主要是模型特有的,而非与生物神经系统共享。
这一趋势在不同模型中均表现一致:模型内部单元对特有单元的预测能力显著优于猕猴下颞皮层神经元。这些结果共同表明,特有单元反映的是模型与大脑之间真实存在的表征差异,而不是由数据噪声或神经采样限制所导致的假象。
图4 | 影响反向预测性的因素。 a,b, 不同模型的反向预测性分别随用于与神经数据映射的IT层特征数量（a）以及模型总参数量（b）的变化关系。c,d, 前向预测性（c）与反向预测性（d）随模型表征有效维度的变化关系（c中P = 0.00084,d中P = 0.00030）。e, 在相同架构条件下,对抗鲁棒模型与非鲁棒模型的反向预测性比较。f, 自监督学习模型与监督学习模型的反向预测性比较。在c中,误差条表示横轴猕猴神经元上的中位绝对偏差（N1 = 169,N2 = 107）；在a、b以及d–f中,误差条表示各模型单元上的中位绝对偏差。对于a–d,统计分析基于78个模型-猕猴组合的Spearman相关；对于e与f,采用12个模型-猕猴组合的双侧统计检验（配对Wilcoxon检验,P = 0.00049（e）；配对t检验,P = 0.065（f））。
2.5 跨模型的共同单元更能预测跨物种行为差异
为进一步探究共同单元与特有单元的功能意义,分析评估了这两类单元在预测物体辨别行为中的能力,并在不同模型与灵长类个体之间进行比较。具体而言,根据反向预测性从ANN-IT层中选取排名前20%的单元作为共同单元,排名后20%的单元作为特有单元,并通过子采样方法保证两类单元在整体准确率上具有可比性。随后,基于各类单元的响应训练交叉验证的线性分类器,用于解码物体类别,并生成逐图像的行为预测准确率。
这些预测结果进一步与其他模型的输出以及来自3只猕猴和88名人类参与者的实际行为数据进行比较。由于共同单元是依据其与下颞皮层神经活动的一致性筛选得到,而该脑区已被证明与核心物体识别任务及行为表现密切相关,因此这类单元预期具有更高的行为相关性。
结果显示,在所有比较中,共同单元均显著优于特有单元。其行为预测结果不仅与其他模型更一致,同时在一致性指标上也明显更高。此外,共同单元对灵长类行为（包括猕猴与人类）的预测能力也更强。这一趋势在不同模型架构中均保持稳定,并且在采用一对一映射方法筛选单元时同样成立。
进一步分析表明,即使共同单元是基于不同个体猕猴的神经数据独立筛选得到,其在预测其他个体及人类行为时仍优于特有单元。同时,在模型中移除共同单元会显著降低其与灵长类行为的一致性,而移除特有单元的影响则较小。
整体来看,反向预测性不仅能够识别与下颞皮层一致的表征单元,还能够定位那些在行为预测与跨物种泛化中发挥关键作用的特征维度,从而为理解模型与生物系统之间的功能对应关系提供了重要依据。
图5 | 特有单元在不同猕猴之间具有一致性且不依赖于神经元采样。 a, 分别利用两只猕猴数据预测模型单元时的解释方差（%EV）。每个点代表ResNet-50中的一个单元。特有单元（浅色）表现为较低的%EV,而共同单元（深蓝色）则具有较高的%EV。统计分析基于ResNet-50中100,352个单元的Spearman相关（P = 0.0）。b,c, 针对特有单元的采样分析。误差条表示500个最特有单元上的中位绝对偏差。b, 猕猴到模型的反向预测性随采样神经元数量变化的结果（分别对应两只猕猴）。c, 从ResNet-50同一层中采样单元（深蓝）或从不同初始化的ResNet-50实例中采样单元（浅蓝）时的反向预测性。
3 讨论
上述结果表明,当前人工神经网络与猕猴下颞皮层之间存在显著的不对称性。以往评估主要依赖前向预测性,即模型特征对神经响应的拟合能力,但这种单向指标无法识别真正具有类脑特性的模型。通过引入反向预测性,可以直接评估神经活动在多大程度上能够预测模型单元的激活,从而揭示大量缺乏神经对应关系的模型特征。这种不对称性在不同模型架构中普遍存在,且明显不同于猕猴之间映射所表现出的对称性,说明其来源于真实的表征差异,而非噪声或采样限制。
这一发现对“更高前向预测性意味着更具生物合理性”的假设提出了挑战。分析表明,不同模型即使具有相似的前向预测性能,也可能依赖完全不同的内部表征策略。一些模型包含大量与神经活动高度一致的单元,而另一些则包含大量缺乏生物意义的额外维度。当模型整体性能已经较高时,研究重点不再是粗粒度筛选模型,而是更精细地进行区分与证伪。反向预测性正是在这一背景下发挥作用,能够揭示那些传统指标无法发现的潜在差异。
这些“特有单元”并非由噪声或采样不足造成。不同个体之间的结果具有高度一致性,且增加神经元数量并不会提升其可预测性。同时,这些单元可以被其他模型单元良好预测,尤其是在同一模型内部,表明其承载的是结构化但模型特有的信息。因此,大脑无法预测这些单元,反映的是表征本质上的差异,而非能力不足。
反向预测性还提供了功能层面的解释。与神经活动一致性更高的单元,在跨模型与跨物种的行为预测中表现更好。这些“共同单元”不仅具有更强的泛化能力,也更贴近灵长类行为,说明人工神经网络与下颞皮层共享的子空间包含了物体识别所需的核心表征。相比之下,“特有单元”虽然可能对模型任务性能有所贡献,但并不支持具有生物合理性的计算过程。
进一步分析表明,前向与反向预测性之间存在张力:提升其中一个指标并不必然带来另一个的提升。事实上,随着模型复杂度与性能提高,这种不一致性可能加剧。然而,这种关系并非必然的权衡。在某些训练设置下,两者可以同时提升,例如结合物体识别与记忆性的联合训练。这提示,未来可以通过优化训练目标或结构设计,在保持任务性能的同时提高与大脑的一致性。
模型的特征维度、训练方式以及结构设计均会影响反向预测性。更高维的表征空间往往削弱与神经系统的一致性,而对抗训练则有助于提升这种一致性。有趣的是,尽管自监督学习近年来表现优异,其反向预测性通常低于监督学习。这些结果表明,反向预测性不仅是评估指标,也可以作为模型设计的约束条件,例如通过惩罚那些无法由神经活动预测的维度来促进更紧密的对齐。
图6 | 共同单元在模型与大脑之间驱动一致的行为预测。 a, 基于模型的行为预测示意图。通过在共同单元与特有单元上训练线性解码器,对每张图像的物体类别进行预测,从而生成逐图像的行为特征。b, 猕猴实验中的行为范式示意图:在短暂注视后呈现测试图像并经过延迟,动物在两个物体类别之间进行选择（例如大象与汽车）。采用相同方式可以为三只猕猴（不同颜色表示,对应d和e中的数据点）以及人类生成行为特征。B.I1表示物体辨别任务中的逐图像准确率。c, 模型-模型一致性:比较ResNet-50中共同单元与特有单元在预测其他模型行为时的一致性。d, 模型-大脑一致性:比较ResNet-50中共同单元与特有单元在预测灵长类行为（三只猕猴与人类）时的一致性。e, 猕猴-猕猴一致性:比较两只猕猴中共同神经元与特有神经元在预测灵长类行为（包括这两只猕猴、另一只未参与选择的猕猴以及人类）时的一致性。误差条表示中位绝对偏差。在c–e中,误差条基于20次交叉验证自助采样得到。统计分析采用双侧配对检验且未进行多重比较校正（c中72个猕猴-模型组合采用Wilcoxon检验,P = 1.88 × 10⁻¹³；d中6组比较采用t检验,P = 3.37 × 10⁻⁵；e中6组比较采用t检验,P = 7.27 × 10⁻⁵）。图a与b中的图像改编自相关文献。
此外,反向预测性与表征相似性分析等方法形成互补。后者关注整体几何结构或共享子空间,而反向预测性直接评估模型特征空间是否嵌入于神经表征的线性范围之内。当前观察到的不对称性表明二者之间更接近多对一关系,即大脑仅覆盖模型表征的一部分,而无法反向重建完整模型表示,反映出模型在某种程度上具有更高或不同的表征复杂度。
尽管分析聚焦于下颞皮层,部分特有单元仍可能对应于其他脑区的计算。然而,猕猴之间映射的对称性以及共同单元对行为的一致预测表明,核心物体识别相关的主要表征已被当前记录较好覆盖。增加神经元数量或扩展刺激空间可能带来一定改进,但收益可能有限。同时,若模型特征需要通过非线性组合才能从神经活动中恢复,也同样意味着表征形式上的差异。
这一框架不仅适用于视觉系统,在听觉、语言和运动控制等领域同样具有推广价值。随着人工神经网络在神经科学中的应用不断扩展,反向预测性提供了一种检验模型表征是否真正嵌入神经编码的有效工具,有助于确保模型不仅在功能上有效,也在结构上具有生物合理性。
总体而言,神经科学建模的目标不仅在于预测神经输出,还在于再现大脑内部的计算结构。反向预测性为实现这一目标提供了新的评估维度。当前尚无人工神经网络能够同时满足高前向与高反向预测性,表明其仍包含大量大脑未使用的表征成分。未来模型的发展可将反向预测性作为重要优化目标,推动其在解决任务的同时更加贴近大脑的内在结构。
从方法角度看,前向与反向预测性共同构成一个自然的二维评估空间,用于衡量模型与大脑之间的表征对齐程度。虽然可以进一步构建综合指标,但更重要的是这一概念本身:只有同时具备良好的神经预测能力以及可被神经活动预测的模型,才满足更严格且更具生物意义的标准。未来研究可以探索如何结合这两个维度,并结合脑-脑映射上限或维度约束,建立更加统一的生物一致性评估体系。