NMI 2026 | 脑启发的随机噪声热身训练实现不确定性校准

今天介绍的是发表在 Nature Machine Intelligence 上的一项研究工作。人工神经网络在现实应用中往往会产生过度自信或错误预测，导致决策风险。该研究指出，深度学习中普遍使用的随机初始化方法是导致过度自信的主要原因。为解决这一问题，研究提出了一种受神经发育启发的热身训练策略：网络在接触真实数据前，先在随机噪声与随机标签上进行短暂训练。实验显示，这种热身训练显著改善了模型的置信度校准，使预测的置信度与实际准确率高度一致。此外，经过预校准的网络在识别未知输入（OOD 数据）时表现出更低的置信度，从而增强了对未见样本的检测能力。这种方法适用于不同网络结构，包括 ResNet、DenseNet 及视觉 Transformer，并在有限数据与高复杂度模型下均表现稳健。研究结果表明，通过模仿大脑出生前的自发活动进行预训练，可以为人工网络提供一种简便而高效的初始不确定性校准策略，为实际部署和安全决策提供保障。

获取详情及资源:

0 摘要

不确定性校准指预测置信度与准确率之间的一致性，是机器学习系统可靠部署于真实世界应用的关键。然而，当前模型往往无法实现这一目标，会生成过度自信、不准确甚至虚构的响应。深度学习中被广泛采用且长期被视为标准实践的初始化方法，实际上是过度自信的主要来源。为解决这一问题，一种受神经发育启发的预热策略被提出，可在无需预处理或后处理的情况下内在地解决不确定性相关问题。具体而言，网络在接触真实数据之前，先使用随机噪声和随机标签进行短暂训练。该预热阶段带来最优校准，使置信度在后续训练过程中始终与准确率保持良好一致。此外，由此得到的网络能够高效识别“未知”输入，为分布内和分布外情境下的不确定性校准提供稳健方案。

1 引言

深度神经网络近年的进展显著提升了高准确率学习能力。例如，十多年前，深度学习模型在自然图像分类中已达到人类水平准确率。如今，这些模型正在被用于涉及复杂决策的广泛真实世界问题，包括自动驾驶、医学诊断和金融工程。在这些应用中，仅推断正确答案并不充分；还需要置信度或不确定性这一额外信息维度，使预测答案具有经过校准的概率，并能准确反映答案正确的可能性。然而，现代深度神经网络在置信度估计方面往往校准不佳。具有讽刺意味的是，模型容量增加虽能提升准确表现，却经常对置信度校准产生负面影响。具体而言，许多近期模型即使面对分布外（OOD）样本且缺乏相关知识，也常表现出过度自信。这种错误校准会导致真实世界应用中的决策质量下降。例如，大语言模型（LLM）的幻觉现象，即模型以高置信度生成错误且缺乏依据的输出，就是与神经网络错误校准密切相关的典型问题。

既有工作尝试通过额外的预处理或后处理技术解决校准问题。然而，这些方法需要额外且计算成本高昂的步骤，才能获得经过校准的置信度。许多当前先进算法使用辅助网络或评分函数，区分未见OOD数据上的过度自信预测与分布内（ID）数据上的预测。总体而言，根本问题在于既有方法通常将ID数据和OOD数据分开处理，本质上是通过彼此独立的计算过程重新校准置信度值，以得到期望结果。

一个更根本的问题是：深度神经网络中的不确定性错误校准源于何处？不同于机器，人类智能天然具有元认知能力，能够估计不确定性，并意识到哪些内容是“已知”和“未知”。因此，大脑中不确定性校准的底层机制是什么？人工神经网络能否在不依赖后处理或辅助计算的情况下，学习类似大脑的不确定性校准？围绕这一问题，已有一项受生物产前阶段启发的工作引入了使用随机噪声的初始训练阶段。具体假设是，这些初始预校准可能有助于学习经过校准的不确定性。

实验表明，深度学习中常用且长期被视为标准技术的随机初始化方法，实际上是网络不确定性错误校准的根本原因。解决这种错误校准，只需采用一种偏离传统实践的初始化策略，即在不增加预处理或后处理方法的情况下，使用随机噪声和标签进行预热训练。随机初始化的神经网络即使缺乏充分知识，也常表现出高置信度；而随机噪声训练能够将这种置信度有效校准到整个输入空间中的均匀机会水平。因此，网络能够学习校准概率，并在后续数据训练过程中保持准确率与置信度一致。此外，经过预校准的网络在遇到未知数据时表现出较低置信度，有助于检测OOD样本。总体来看，随机噪声预热训练为解决不确定性校准问题提供了一种简单而有力的策略。

图1｜人工神经网络中的置信度失校准 a. 示意图显示自动驾驶汽车如何检测环境中的物体并基于这些检测做出决策。校准与失校准模型预测相同标签，但两者的置信度差异显著。失校准的置信度可能导致错误决策，即使模型准确率较高。 b. 使用 SoftMax 函数的概率输出计算预测答案及其置信度。 c. 六层前馈神经网络在 CIFAR-10 数据子集（训练数据量 4,000）上的可靠性图。测试数据的预测置信度与正确性根据置信度值分箱，并在每个箱中计算准确率。对角线表示理想校准，即置信度与期望准确率完全匹配。ECE 为预测置信度与实际准确率的差值。 d. 不同模型复杂度与训练数据量下的校准误差。每种颜色表示十次独立运行的 ECE 平均值：蓝色和红色分别表示低和高校准误差。Conf., confidence; Acc., accuracy.

2 结果

2.1 深度神经网络中的置信度校准失败

为考察深度神经网络模型中的置信度错误校准模式，首先使用一种前馈神经网络，将三通道自然图像（32×32×3）划分为十个类别。该网络由多个带修正线性单元非线性的隐藏层，以及使用SoftMax函数的最终分类层组成。对于给定图像样本，模型输出每个对象类别的概率，预测标签对应概率最大的类别。模型还提供预测置信度度量，该度量来自分配给预测类别的概率。预测不确定性可量化为置信度值与1之间的差值。理想情况下，神经网络应输出经过校准的置信度，即置信度水平能够准确反映预测正确的实际可能性。相比之下，校准不佳的网络可能输出与实际正确可能性不对应的置信度水平，从而导致对模型预测的潜在误读。

前馈神经网络使用Canadian Institute For Advanced Research（CIFAR）-10数据集的一个子集进行训练；该数据集由带有十类标签的自然图像组成，类别涵盖动物和物体。训练完成后，使用不属于训练集的测试图像评估模型预测和置信度。具体而言，评估目标是训练后网络的置信度水平能否准确反映正确可能性。通过测量分箱后的置信度值及每个分箱试验预测中对应的期望准确率，可以构建可靠性图以可视化模型校准情况。在该图中，理想校准表现为恒等函数，即估计置信度与实际正确概率相对应。

通过使用不同训练数据规模训练复杂度不同的神经网络，可以考察错误校准模式。为定量测量错误校准程度，计算了期望校准误差（ECE），该指标对每个分箱中准确率与置信度之间的差异求平均，并按样本数加权。总体来看，理想校准与模型输出之间存在显著差距：模型准确率低于置信度水平，说明模型在大多数条件下具有过度自信倾向。模型复杂度和训练数据规模都会系统性影响置信度校准。具体而言，随着训练数据规模减小、模型复杂度增加，错误校准程度会上升，这表明当训练数据相对于网络复杂度不足时，错误校准就会出现。这一结果解释了为何高复杂度的当前先进模型难以处理置信度与准确率不匹配的问题。近期网络架构常通过增加深度来提高学习能力，但可用数据规模并不会相应扩大。在真实世界应用中，获取大型数据集成本高且计算负担重，因此错误校准在深度学习模型中难以避免。

2.2 用于置信度校准的随机噪声预热训练

生物大脑在出生前、尚未接触感觉输入时，就已经通过自发神经活动开始学习过程。在这一早期阶段，大脑通过将自发活动传递至更高级皮层区域来优化神经连接；这种产前学习可见于参与感觉系统的多个脑区。尤其是，自发活动呈现出多种时空形式，例如波动或局部同步。重要的是，这些随机活动独立于外部刺激，也与真实世界或特定目标没有关联，却在神经元回路的初始形成中发挥关键调节作用。因此，这一过程可被视为一种带有内源随机噪声的预热训练。受这一生物过程启发的预热训练算法能够促进网络预调节，将其初始置信度校准到机会水平。

图2｜通过随机噪声进行预热训练实现神经网络的置信度校准 a. 胎鼠在出生前的自发神经活动实现产前学习，出生前（左）和睁眼后（右）38. b. 胚胎期（E）和出生后（P）视觉区与听觉区的自发神经活动41. c. 随机噪声预热训练算法示意图，灵感来源于感觉经验前的脑发育。在预热阶段，网络接收带有均匀采样未配对标签的高斯随机输入。 d. 预热阶段和数据训练期间的测试损失。w/, 有；w/o, 无。 e. 可靠性图显示按置信度分箱样本的期望准确率。插图：ECE。 f. 在不同训练数据量和网络复杂度条件下随机噪声预热训练对校准误差的影响。标记 ▼ 表示 d 和 e 中使用的参数，其中六层网络在数据集大小为 4,000 下训练。 g,h. 随机噪声预热训练对 ResNet-18 的影响：((i) 和 (ii)) 从零开始训练模型（0.25M 噪声预热→2.5M 任务样本）；((iii) 和 (iv)) 在 ImageNet 大规模常规预训练后进行微调时应用相同噪声预热（120M 预训练样本→0.25M 噪声预热→1M 任务样本）。 g. 校准。 h. 测试性能。每个箱线图显示四分位间距（IQR；Q1–Q3），中线表示中位数，须延伸至 Q1 − 1.5× IQR 和 Q3 + 1.5× IQR。*P < 0.001; NS, 不显著（P > 0.05）。

神经网络使用从高斯分布中随机采样的噪声输入，以及从均匀分布中采样的随机标签进行训练。在随机噪声训练期间，损失逐渐下降，而准确率保持在机会水平。完成预热训练后，再用真实数据训练网络，测试损失出现更大幅度下降，并且显著低于未进行随机噪声预热的网络（未预热与随机噪声预热对比，nnet=30个独立初始化网络；对使用相同种子初始化的配对网络进行双侧Wilcoxon符号秩检验，不假设正态性，W=0，P=1.73×10−6，r=0.873）。这些结果说明，随机噪声训练能够促使后续真实数据训练更快、更有效地降低损失。

随后，概率校准是否可通过随机噪声预热得到改善，即置信度是否可与准确率对齐，成为进一步分析对象。基于每个网络的预测及其对应置信度构建可靠性图后可以看到，与仅使用数据训练的网络相比，随机噪声训练后的网络输出更接近理想校准。此外，与仅使用数据训练的网络相比，这些网络的校准误差显著更低（未预热与随机噪声预热对比，nnet=30，双侧Wilcoxon符号秩检验，W=0，P=1.73×10−6，r=0.873）。随机噪声预热在广泛任务中都能持续改善模型校准，包括图像分类、图像分割和语言生成。除使用标准反向传播训练的网络外，分析还覆盖了使用生物学上合理的反馈对齐算法训练的网络。在这种近似误差反向传播下，错误校准尤其明显，但随机噪声预热显著改善了置信度校准。这些结果确认，错误校准是跨数据集、任务领域和训练算法普遍存在的问题，而随机噪声预热为增强置信度校准提供了通用方案。

进一步将分析扩展到不同深度和不同训练数据规模的网络后可以看到，无论网络深度或训练数据规模如何，随机噪声预热都具有显著作用（未预热与随机噪声预热对比，nnet=10，双侧Wilcoxon符号秩检验，W=0，P=5.06×10−3，r=0.886；统计检验针对网络深度与训练数据规模的每一种组合进行）。在所有考察条件下，随机噪声训练都成功降低了校准误差。尤其是在使用较小数据集训练的更深层网络中，这一效果特别明显，而这类网络更容易出现置信度错误校准。分析进一步扩展到ResNet和DenseNet系列以及视觉Transformer，确认校准误差会随模型规模增加而上升。随机噪声预热能有效缓解这一影响。当训练数据有限时，即使在ResNet-18等复杂网络中，该方法也能防止错误校准。尤其是，随机噪声预热的校准效果与既有后校准技术相当，甚至超过后者，同时不需要保留数据集。此外，由于该方法不仅是一种校准方法，也是一种通用初始化策略，因此可与现有当前先进算法结合，以获得更优校准。随机噪声预热的效果对噪声分布的具体选择并不敏感，并且可在多种随机噪声、结构化噪声或不同输入方差下稳定复现。

此外，这些额外预热步骤远短于传统大规模数据预训练或下游任务训练，带来的计算开销可以忽略。在CIFAR-10上训练ResNet-18时，短程随机噪声预热（处理0.25M个样本）同时用于从头训练场景（处理2.5M个样本）和微调场景（处理1M个样本）。在从头训练场景中，加入随机噪声预热使模型获得更优校准（仅任务训练与随机噪声加任务训练对比，nnet=20，双侧Wilcoxon符号秩检验，W=0，P=8.86×10−5，r=0.877）；在大规模ImageNet预训练（处理120M个样本）后的微调场景中，也观察到类似效果（预训练加任务训练与预训练加随机噪声加任务训练对比，nnet=20，双侧Wilcoxon符号秩检验，W=0，P=8.86×10−5，r=0.877）。此外，随机噪声预热使网络达到相当或更高的测试性能（仅任务训练与随机噪声加任务训练对比，nnet=20，双侧Wilcoxon符号秩检验，W=64，P=0.126，r=0.342；预训练加任务训练与预训练加随机噪声加任务训练对比，nnet=20，双侧Wilcoxon符号秩检验，W=0，P=8.85×10−5，r=0.877）。这些结果表明，随机噪声预热能在不牺牲测试性能的情况下改善校准，且仅增加可忽略的计算成本。此外，传统大规模数据预训练无法复现随机噪声预热的效果。

2.3 用于不确定性校准的随机噪声预热初始化

为更好理解随机噪声预热训练如何影响置信度校准，在接触真实数据之前，进一步考察了随机初始化且未经训练的网络，以及经过随机训练的网络的特征。为此，引入了一个具有二维（2D）输入空间的简化玩具模型网络，从而能够可视化输入特征空间。在这些条件下，按常规流程处理的网络，即随机初始化且未经训练的网络，在初始状态下会在整个输入空间中呈现高度偏置的置信度分布。此外，这种初始错误校准在多个不同随机初始化试次中保持一致。相比之下，经过随机噪声训练的网络在输入空间中呈现更均匀的置信度分布，并有效校准到机会水平。这一结果表明，随机噪声训练通过在整个输入空间中校准置信度水平、使其更接近机会水平，有助于缓解过度自信（未经训练与随机噪声训练对比，每组nsample=1,000；对两个独立组进行双侧Mann-WhitneyU检验，不假设正态性，U=975,129.5，P=1.67×10−296，r=0.823）。同时，未经训练的网络可能由于概率波动而表现出指向特定输出类别的初始预测偏置。随机噪声训练显著降低了这种初始类别偏置，使类别间概率分布更加均匀（未经训练与随机噪声训练对比，nnet=30，双侧Wilcoxon符号秩检验，W=62，P=4.53×10−4，r=0.640）。

图3｜随机噪声在输入空间上对神经网络不确定性进行预校准 a. 示意图显示在二维输入空间和二值输出空间的玩具模型网络中进行随机噪声训练。网络接收具有两个输入特征和随机分配二值标签的随机噪声，并使用二元交叉熵损失进行训练。 b. 输入空间上置信度的可视化。左：未训练网络的置信度图。右：随机噪声训练后的置信度图。 c. 二维噪声下网络的置信度分布。 d. 二维噪声下网络的类别偏差，展示类别预测的偏向程度。 e–g. 随机初始化未训练网络的 Logit 与 SoftMax 输出分布。 e. Logit 直方图。 f. Logit 与 SoftMax 输出的关系（左）及 SoftMax 输出直方图（右）。 g. 置信度直方图。 h–j. 随机噪声训练网络的 Logit 与 SoftMax 输出分布，与 e–g 相同。每个箱线图显示四分位间距（IQR；Q1–Q3），中线表示中位数，须延伸至 Q1 − 1.5× IQR 和 Q3 + 1.5× IQR。*P < 0.001.

随后，通过分析网络激活与SoftMax输出概率之间的关系，检验随机初始化网络中的这种初始过度自信；相应理论分析也支持这一点。随机初始化网络中的logit分布范围很宽。由高方差造成的大幅值logit会因非线性SoftMax函数而发生饱和，使输出概率集中在0和1附近。这种饱和说明未经训练的网络存在过度自信，概率偏向1。随机噪声预热能有效缓解这种初始过度自信；相应理论分析同样支持这一点。随机噪声训练通过将数值集中到SoftMax函数的线性区间，并抑制长尾中的大幅值logit，重塑了logit分布，使输出概率峰值接近机会水平。重要的是，随机噪声训练并未明显改变权重分布，却显著改变了整个网络层级中的激活模式。不同于传统初始化，随机噪声预热会沿网络层级逐渐降低激活尺度，压缩最终层logit，从而产生接近机会水平的输出。

接下来，分析扩展到具有更高维输入空间的模型。具体而言，使用输入特征维度为32×32×3且输出十类SoftMax概率的模型，使其能够在CIFAR-10数据上训练。首先测量未经训练和随机训练网络中随机噪声输入对应的概率输出。与玩具模型结果一致，未经训练的网络表现出过度自信和类别偏置，而随机训练网络中几乎检测不到这种偏置。无论从置信度分布还是类别偏置来看，这些差异都与玩具模型结果一致。分析还进一步扩展到输出数量和深度不同的各种网络架构。这些结果确认，初始过度自信是随机初始化网络的普遍特征，而随机噪声训练能够通过将置信度降低至机会水平来有效缓解这一问题。尤其是，包括ResNet、DenseNet和视觉Transformer在内的现代架构，其未经训练状态下的SoftMax输出高度极化，多数预测都过度自信。随机噪声训练能够稳定消除这种偏置。

进一步分析了随机噪声训练所产生的预校准效应能否扩展到未见且更接近真实的数据。具体而言，通过在每个训练轮次后测量网络对真实数据的预测，考察随机噪声训练期间网络在CIFAR-10和Street View House Numbers（SVHN）数据集上的置信度变化。尤其是，在整个随机噪声训练阶段，未见CIFAR-10数据的置信度得到适当校准并接近机会水平，而准确率保持在机会水平。这一趋势在CIFAR-10和SVHN等不同未见数据集中保持一致。网络对未见数据最大化不确定性，同时准确率保持在机会水平，由此使置信度与准确率对齐。因此，对未见数据而言，校准误差，即置信度与准确率之间的差异，显著降低。这些发现表明，传统初始化网络即使在训练前也会表现出过度自信和类别偏置，而随机噪声训练能够有效消除这种初始偏置，并将置信度校准到机会水平，在实际学习前最大化不确定性。这说明随机噪声训练可作为一种初始化策略，提供传统随机初始化之外的替代方案。

最后，初始校准可稳定梯度并平滑初始化时的损失景观。由此，通过随机噪声预热实现的不确定性校准初始化，能够在更平滑的损失景观中支持稳定学习，并最终收敛到更平坦的极小值。损失景观与校准之间的关系显示，随机噪声训练会迅速将网络推入校准良好的区域。因此，后续任务学习发生在已经得到良好校准的参数空间中。该分析说明了随机噪声预热在塑造校准学习景观中的作用，并凸显其学习动态与传统初始化网络之间的差异。重要的是，随机噪声预热带来的这些益处并不仅仅源于有效学习率或权重分布的变化。

2.4 使置信度水平与实际准确率对齐

为更好理解预校准的影响，通过分析准确率与损失构成的二维（2D）平面中的训练轨迹，考察了网络在数据训练期间的学习动态。轨迹显示，经过随机噪声训练的网络与未经过随机噪声训练的网络存在明显差异，主要源于预热期间的初始损失下降。具体而言，在两条曲线上准确率相同的点处，随机训练网络的损失低于仅用数据训练的网络。选取任意准确率相同的点后，对两类网络的可靠性图和校准误差进行分析。即使准确率相同，采用随机噪声预热的网络也比未预热网络具有更好的置信度校准（随机噪声预热与未预热对比，nnet=30，双侧Wilcoxon符号秩检验，W=0，P=1.73×10−6，r=0.873）。类似地，在选取总训练轮次相同的任意点时，经过预热的网络同样表现出更好的置信度校准（未预热与随机噪声预热对比，nnet=30，双侧Wilcoxon符号秩检验，W=0，P=1.73×10−6，r=0.873）。这些结果突出显示，随机噪声预热会影响后续学习动态，尤其体现在降低初始损失上。

图4｜预校准使学习实现置信度与准确率匹配 a. 损失-准确率二重性可视化。每个点表示训练每个 epoch 的测试损失和准确率。选取四个点用于校准比较，对应在数据仅训练和随机噪声预热训练下实现相同准确率的网络（(i) 和 (ii)），以及训练相同 epoch 数的完全收敛网络（(iii) 和 (iv)）。 b,c. 随机噪声训练网络与数据仅训练网络的比较。左：可靠性图，显示预测置信度与准确率的关系。右：校准误差，以 ECE 衡量。 b. 准确率控制比较 ((i) 对比 (ii))。 c. epoch 控制比较 ((iii) 对比 (iv))。 d. 数据仅训练网络与随机噪声训练网络在测试数据集上的准确率与置信度散点图。对角线表示理想校准，即置信度与期望准确率匹配。 e,f. 测试数据集在训练 epoch 上的平均置信度与准确率。 e. 数据仅训练网络。 f. 随机噪声训练网络。每个箱线图显示四分位间距（IQR；Q1–Q3），中线表示中位数，须延伸至 Q1 − 1.5× IQR 和 Q3 + 1.5× IQR。*P < 0.001.

随后，训练全过程中的置信度与准确率关系得到进一步考察。在随机噪声训练后的网络中，置信度和准确率始终保持良好对齐，并在训练期间持续沿对角线变化。相比之下，未预热网络没有表现出这种对齐。尤其是，由于早期错误校准，置信度与准确率之间最初存在显著差距；但在随机噪声预热期间，这一差距迅速缩小并消失。置信度与准确率的这种对齐支持后续数据训练中更同步的学习。因此，通过随机噪声预热将置信度校准到机会水平，可以确保适当的置信度校准。

2.5 使用校准网络置信度检测OOD样本

最后，随机噪声预热对OOD数据检测的影响得到考察。OOD样本是指模型未曾训练过的“未见”数据，而ID样本是指模型已被训练用于识别的数据。在CIFAR-10（ID）上训练后，模型对未见SVHN数据（OOD）的响应得到评估。未进行随机噪声预热的网络在OOD样本上表现出高置信度，即使此前没有相关知识也是如此。相比之下，经过随机噪声预热的网络在OOD样本上表现出显著更低的置信度，更接近适合未知数据的机会水平。随机训练网络对OOD样本的平均置信度更低，更接近机会水平（未预热与随机噪声预热对比，每组nsample=10,000，双侧Mann-WhitneyU检验，U=98,908,786，P=4.94×10−324，r=0.847）。

图5｜使用校准网络置信度进行 OOD 检测 a. ID 与 OOD 样本概念示意。ID 样本为模型训练过的数据，OOD 样本来自不同分布，训练中未见过。使用 CIFAR-10 作为 ID 数据训练神经网络，SVHN 作为 OOD 数据，网络未进行训练。 b. 未见 OOD 数据的置信度直方图（左），同时显示为箱线图（右）。水平线表示机会水平，指示未知数据的理想校准置信度，此时模型表现最大不确定性。 c. OOD 检测任务示意图。在网络经过 ID 数据训练后，将 ID 和 OOD 样本输入网络，并测量置信度以判断样本是否属于 ID 或 OOD 类别。 d. 使用网络置信度进行 OOD 检测任务的性能。左：ROC 曲线，对角线表示随机分类，点 (0, 1) 表示理想分类器。右：OOD 检测任务性能，以 AUROC 衡量。每个箱线图显示四分位间距（IQR；Q1–Q3），中线表示中位数，须延伸至 Q1 − 1.5× IQR 和 Q3 + 1.5× IQR。*P < 0.001.

进一步分析了ID样本和OOD样本的校准置信度如何改善OOD检测。为实现这一点，一个简单框架使用原始置信度值区分ID样本和OOD样本，并将低于任意阈值的样本归类为OOD。随后，在不同阈值下评估OOD检测性能，并据此绘制受试者工作特征（ROC）曲线。为量化性能，计算了ROC曲线下面积（AUROC），结果显示随机噪声预热显著改善OOD检测（未预热与随机噪声预热对比，nnet=30，双侧Wilcoxon符号秩检验，W=60，P=3.88×10−4，r=0.648）。

分析进一步扩展到ResNet和DenseNet系列以及视觉Transformer，并确认随机噪声预热通常能够增强OOD检测。此外，在ResNet-18等复杂网络中，无论训练数据规模如何，随机噪声预热都能有效提升OOD检测性能。尤其是，除基于置信度的OOD检测外，经过随机噪声训练的网络在更高级的OOD检测框架中也显著优于传统初始化网络，包括温度缩放、ODIN和能量分数方法。此外，在保形预测框架内，随机噪声预热降低了预测不确定性，并实现了更优OOD检测。综合来看，随机噪声预热及其产生的初始校准，为神经网络中的元认知能力提供了关键基础，使网络无需额外处理或增强学习即可稳健地区分已知数据与未知数据。

3 讨论

估计不确定性并识别未知内容的能力，对真实世界智能系统至关重要。人类智能天然具有元认知能力，即评估概率置信度并区分已知与未知的能力。这种能力在复杂人类行为中发挥关键作用，尤其体现在决策中。若缺乏这种用于估计不确定性的元认知能力，智能系统可能在错误决策代价高昂的真实场景中犯下严重错误。尽管性能已有近期进展，深度神经网络仍持续面临不确定性校准难题，相关实验结果已经证明这一点。尽管人工智能（AI）能力先进，这一问题仍对其融入日常生活构成关键挑战。

LLM中的幻觉是错误校准的不确定性如何降低AI系统可靠性的突出例子。尽管LLM在科学、编程和医疗健康等多个领域表现出专家级能力，但它们常以高置信度给出错误答案，使关键情境中的输出难以被信任。除LLM之外，错误校准长期以来也是AI应用于真实世界领域的一项挑战。例如，自动驾驶汽车原型虽已在十多年前出现，但由于可靠性问题，其融入日常生活仍然困难；一次由控制系统误判物体引发的致命事故凸显了这一点。医疗健康中也存在类似问题：从放射影像分类疾病的模型在面对离群输入时，常会给出过度自信但错误的预测。在医疗流程中依赖此类过度自信判断，可能危及患者安全。这些例子说明，错误校准的预测会导致灾难性决策错误，因此在AI部署于关键应用之前，必须解决错误校准问题。

实验结果表明，随着现代深度神经网络通过增加复杂度来增强学习能力，这些不确定性错误校准难以避免。数据集规模和模型复杂度都会系统性影响校准质量：当数据集不足时，大型复杂模型会出现严重校准误差。这引出了一个问题：随着模型复杂度增加，是否总是需要极大规模数据集才能实现最优校准？然而，在真实世界中获取高质量训练数据往往成本高昂，而且某些领域的可用数据本身有限，例如少数语言文本数据或罕见病医学数据。面对这些现实挑战，随着模型复杂度增长，仅依靠扩展数据集规模并不是可行方案。所提出的方法通过将错误校准问题与数据集规模和模型复杂度解耦，为参数不断增加的现代深度神经网络提供了一种简单而有效的策略。

机器学习中的一个长期问题是如何恰当地初始化神经网络以实现高效学习，因为网络可能因初始条件不同而收敛到局部最小值或发散。既有工作表明，调整初始化有助于网络以更高准确率收敛，并推动了优化初始化技术的发展，初始化也因此成为训练的常见起点。然而，实验结果提示，由于置信度校准问题，这些传统方法可能并不是理想的学习起点：由传统方法初始化的网络往往存在过度自信，并偏向特定输出。深度学习中广泛采用的随机初始化实践，实际上是导致网络不确定性错误校准的关键因素；而随机噪声训练提供了直接且有效的解决方案，也由此形成了一种替代性的网络初始化方式。这一方法适用于所有类型的网络模型，并且无论模型规模、复杂度或其他特征如何都保持有效。不同于依赖辅助计算或后处理的既有不确定性校准方法，随机噪声训练仅通过改变学习初始化，就能显著改变学习动态，使置信度与准确率对齐。

随机噪声预热训练的构想源于生物大脑的产前发育过程。尽管大脑中的自发神经活动被认为对发育具有重要意义，但其功能作用仍不清楚。近年来，人工神经网络被视为理解生物神经处理的有力框架。相关结果不仅为机器学习模型中的校准问题提供了有效且实用的解决方案，也为理解生物发育过程提供了线索。除使用反向传播算法外，随机噪声训练在生物学上合理的学习规则中也显示出益处，例如反馈对齐。有趣的是，使用局部学习规则时会出现严重错误校准，但随机噪声预热能大幅改善校准，这与主要结果一致。近期相关工作还表明，通过随机噪声预热进行初始校准和调节，可显著提高生物学上合理学习系统的学习效率。这些发现提示，生物大脑中的感觉前学习过程可能涉及在通过感觉经验获取知识之前学习未知内容，并可能构成迈向元认知的关键发育步骤。

尽管当前分析提供了有价值的认识，但仍需承认若干局限。模型尚未通过真实世界部署或大规模基准验证；与LLM等当前先进系统相比，实验任务相对简单，网络规模也较小。由于训练单个LLM可能产生数百万美元量级的计算成本，在典型学术实验室环境中，系统考察其校准性质通常并不现实。尽管如此，这些发现有望推广到计算机视觉、自然语言处理及其他领域中更复杂的真实世界模型。各种架构和任务领域共享的一个关键特征是，其输出最终都以概率分布形式呈现。因此，只要模型为决策产生概率输出，无论其具体结构、规模或应用领域如何，随机噪声预热训练方法都具有广泛适用性。展望未来，将该方法应用于一系列商业AI系统，以进一步验证并完善这些发现，是未来工作的重要方向。

总之，随机噪声预热训练能够有效预校准网络不确定性，使后续学习中的准确率与置信度保持一致。这些结果凸显了神经网络初始状态对有效数据学习的重要性，也凸显了接触数据前早期发育过程的意义。相关发现为不确定性校准提供了认识，并为校准问题带来的挑战提供了潜在解决思路。