Adv. Sci. 2025 | AMPainter: 基于深度强化学习的抗菌肽设计

今天介绍的是发表在 Advanced Science 的一项最新研究，主题为AMPainter：基于深度强化学习的抗菌肽设计。在全球进入“后抗生素时代”的背景下，耐药性感染已成为严重威胁人类健康的难题，预计到2050年每年可能造成高达一千万人的死亡。抗菌肽(AMPs)因具有广谱抗菌活性和较低的耐药风险，被视为极具潜力的新一代候选药物。然而，现有的计算设计方法大多只能针对单一任务，难以兼顾对已有AMP的优化和从零生成新分子。AMPainter的提出正是为了解决这一瓶颈。该框架利用深度强化学习，将优化与生成统一于一个体系中，并结合蛋白语言模型和抗菌活性预测器，实现了对不同初始序列的进化与设计。研究结果显示，AMPainter不仅能显著提升已知AMP的效力，还能从信号肽和随机序列中进化或生成新型AMP，其中部分肽在体外实验中的抑菌活性提升高达128倍。这一工作展示了人工智能在抗菌药物设计中的巨大潜力。

获取详情及资源:

0 摘要

在“后抗生素时代”，抗菌肽(AMPs)因不易诱导耐药性而被视为理想的药物候选物。计算模型为新型AMP的设计提供了高效途径，但现有的优化与生成方法大多针对特定应用场景，使用的普适性受到限制。为此，研究提出了一种全新的抗菌肽设计模型——AMPainter。该模型基于深度强化学习，将优化与生成任务整合于统一框架中，并在三类肽上进行了验证，包括已知AMPs、信号肽(SPs)以及随机序列。结果显示，AMPainter在提升已知AMP活性方面优于十种相关模型，能够显著增强预测的抗菌效力和多样性，其中部分AMP的实际最小抑菌浓度(MIC)降低了128倍。此外，AMPainter能够以80%的实验成功率从膜活性的SP中进化出有效的AMP。在新序列生成方面，AMPainter可从原本无活性的随机序列设计出全新的AMP，其对四种细菌的平均MIC达到2.88 μM。更为重要的是，实验中沿虚拟进化路径获得的肽的MIC与预测结果高度一致。因此，AMPainter不仅能够显著提升多类肽的抗菌活性，还能拓展AMP序列空间，发掘出具有潜力的新型抗菌剂。

图1 | AMPainter的整体框架 在输入一组肽序列后，AMPainter能够通过一个迭代的三步流程将其进化为新的抗菌肽。首先，利用策略网络选择突变位点(a)；随后，通过微调后的语言模型替换相应的氨基酸残基(b)；最后，借助名为HyperAMP的预测器评估抗菌活性(c)。其中，HyperAMP是一种基于超图神经网络的模型，已在整合进入AMPainter之前使用已知AMP及其活性标签进行训练。预测得到的抗菌评分将作为奖励信号，反馈至强化学习过程以更新策略网络。整个流程中，每条肽序列都会经历八轮迭代，逐步演化出具有更高抗菌效力的新序列。

1 引言

由微生物引发的疾病长期威胁人类健康，且近些年来问题日益严重。世界卫生组织的报告指出，耐药性感染每年导致超过70万人死亡，预计到2050年这一数字可能升至一千万。因此，开发新型抗菌药物已迫在眉睫，其中**抗菌肽(AMPs)**因其以破坏膜结构为主要机制并具备广谱抗菌活性，而相比传统抗生素更不易引发耐药性，被认为是极具潜力的候选分子。尽管现有数据库中已记录超过3万条AMP序列，但它们在庞大的序列空间中依然分布稀疏，仍亟需进一步探索。

计算模型为新型AMP的发现与性质改造提供了高效途径。机器学习分类器能够从人类蛋白组、微生物基因组，甚至六肽、八肽的全序列空间中筛选出潜在的AMP。然而，许多候选AMP仍需进一步优化以提升活性。通常而言，AMP的设计可分为优化与生成两类：优化是通过扰动已知AMP序列来增强其抗菌效力，而生成则不依赖已有序列，直接从头构建新AMP。传统优化方式如理性设计与进化方法往往依赖专家知识，并局限于有限的序列空间；而深度学习驱动的生成模型，如VAE、GAN与扩散模型，则能在数秒内高效生成数百个潜在新AMP，但仍需额外的筛选与实验验证。值得注意的是，一些生成模型也能以“类似物生成模式”完成优化任务，例如HydrAMP与deepAMP可以在VAE架构下生成已知AMP的类似物，但它们无法在统一训练框架下同时完成无约束生成与类似物生成，甚至需要针对具体案例进行额外微调。

受到定向进化经典案例的启发，该研究尝试将优化与生成任务统一在同一设计策略中。通过合适的进化压力引导，蛋白能够通过点突变不断增强原有功能或获得新特性。由此推断，基于虚拟定向进化的设计策略或许能有效融合AMP的优化与生成，而强化学习尤其适用于突变位点的选择。虽然已有少量研究尝试在蛋白工程领域利用强化学习探索大规模序列空间，但其在从零开始的序列设计中仍应用有限，因为初始序列在适应度景观上往往距离目标较远，需要大量搜索。

在此背景下，研究提出了AMPainter模型。该方法将突变过程拆解为两个步骤：选择突变位点与确定氨基酸类型。借助强化学习与蛋白语言模型，即便初始序列完全无活性，AMPainter也能高效提升不同序列的抗菌效力。AMPainter被应用于三项任务：增强已知AMP的活性、从信号肽(SPs)进化新AMP、以及从随机序列生成全新AMP。在优化任务中，AMPainter在已知AMP集合上表现优于十种相关模型，部分肽在体外实验中抗菌活性提升128倍。在信号肽进化实验中，前十个候选序列有80%成功转化为AMP。在新序列生成方面，10个候选肽中有6个表现为AMP，其中从随机序列生成的R04肽在四种细菌上的平均MIC低于3 μM。同时，AMPainter还能提供进化路径，有助于深入解析序列-活性关系。

2 结果

2.1 AMPainter概述

该模型被命名为AMPainter，寓意为能够为任意肽序列“描绘”抗菌活性。如图1所示，AMPainter由三个核心模块组成。首先，使用策略网络为输入序列分配突变位点。该双层神经网络将氨基酸残基映射为概率分布，并通过采样选择突变位置，再以掩码符号替换该残基。随后，引入基于Ankh蛋白语言模型的微调模块，该模型在AMP序列上进行过训练，用于解码被掩盖的残基。最后，利用新开发的抗菌活性预测器HyperAMP对突变序列进行评估，其评分结果作为奖励信号反馈至策略网络，从而完成强化学习更新。

在HyperAMP的构建中，采用多层级超图神经网络(HGNN)回归方法(框架见补充信息图S1)。在肽超图中，残基被视为节点，与普通图不同，超图的超边可以同时连接多个节点，更有利于捕捉高阶关系。因此，将肽序列划分为滑动片段并编码为超边，因片段组成与活性密切相关。该研究提取了2元、3元与4元片段，分别建立HGNN并拼接其多层嵌入用于回归预测。相比仅使用单一片段或双片段表示，这一方法显著提升了性能(见表S1)。此外，将Ankh模型的残基嵌入作为节点特征，其效果优于其他蛋白语言模型(见表S2)。在训练过程中，将AMP的MIC标签转化为奖励分数(见图S3a)，最终HyperAMP在测试集上取得Pearson相关系数0.9220 ± 0.0009，RMSE 0.1631 ± 0.0001，显著优于其他基线模型(见图S2)，保证了AMPainter的预测可靠性。

AMPainter在训练中使用了长度在10–40之间的966条随机序列，训练共进行40轮，平均奖励分数由初始约0.26逐步提升至0.78。消融实验进一步验证了引入微调语言模型在桥接过程中的作用(见图S3b)。在实际应用中，AMPainter对每条输入序列执行八次迭代，即总共进行八步突变，每步仅包含一次替换。之所以设置为八次，是为了在抗菌评分与序列多样性之间取得平衡，因为增加迭代次数虽可提升抗菌评分，但会显著降低多样性(见图S4)。

2.2 AMPainter在AMP优化任务中优于其他方法

在完成AMPainter训练后，将其与十种相关方法在已知AMP活性增强任务上进行了比较。输入数据为HyperAMP测试集中200条AMP序列，这些序列在训练过程中未曾被AMPainter接触。对于HydrAMP，选取其analog generation模式；其余进化类方法则统一使用HyperAMP作为代理模型以确保公平比较。所有方法的最大突变步数均设为8次，并保留每种方法中按HyperAMP得分排序的前200条序列。

在评估指标方面，首先使用MBC-Attention与AMP-READ模型对优化所得的前200条序列重新打分，以避免因HyperAMP被用于优化而产生的偏差。结果表明，11种方法均能提升初始AMP活性，但AMPainter在最高值与整体分布上均表现最佳(图2a；图S5a)。其次，采用六种常用AMP分类器(AMPScannerV2、CAMPR4-RF、CAMPR4-SVM、CAMPR4-ANN、MACREL和ampir)对序列进行概率预测，而非二元标签。结果显示，AMPainter生成的序列整体预测概率更高，其中大多数序列的平均抗菌概率超过0.9(图2b；图S5b)。此外，还比较了前50、100与200条优化序列的多样性(图2c)。AMPainter在前50与前100序列中均排名第一，在前200序列中位列第三，说明该方法能获得多样化的优化结果，而非局限于特定序列的局部最优。

进一步地，受deepAMP的启发，还考察了AMPainter在两亲性螺旋肽优化中的表现，以适应度得分作为奖励。从Pg-AMP1肽的四个片段出发，AMPainter在五轮进化后实现了0.624的最高适应度得分，超过了随机优化、遗传算法(GA，文献报道的前100序列)及三种VAE模型(图2d；图S6a)。在第2至第5轮中，AMPainter生成的前100条序列均优于deepAMP(图2e)。其进化结果逐渐收敛为高度两亲性的序列，典型特征为亮氨酸(L)与精氨酸(R)交替排列(图S6b–d)。

综上所述，这些结果充分证明AMPainter在AMP优化任务中表现出色，能够高效生成兼具高活性与多样性的序列。

2.3 AMPainter可将多类序列进化为AMPs

AMPainter被应用于三类初始序列的进化任务：已知AMPs、信号肽(SPs)与随机序列(图3a)。其中，增强已知AMP活性属于优化任务，前文已与其他方法进行了对比；进化信号肽的任务则基于其膜活性特征可能与AMP的膜破坏机制相关；而从随机序列设计AMP则可视为从头生成任务。该研究分别输入200条已知AMP、708条SP及200条随机序列，并在AMPainter中执行八轮进化，最终从每条初始序列中挑选得分最高的进化序列进行分析。

从结果来看，初始已知AMP的活性评分整体高于其他两类序列，部分SP也显示出较高得分，而随机序列几乎全部接近于零，表明其完全不具备抗菌活性。然而，经过AMPainter进化后，三类序列的得分均显著提升(图3b)。进一步计算每条肽的活性提升量(Δ score，图3c)发现，所有序列均实现Δ score > 0，验证了AMPainter的有效性。由于已知AMP本身活性较高，其Δ score相对较低；相比之下，约60%的SP与随机序列在进化后Δ score超过0.5。按迭代次数分解评分变化(图3d)，三类序列的平均得分在八轮进化中持续增长，其中随机序列提升速率更快(图S7a)。

在氨基酸组成方面(图3e)，初始随机序列呈近乎均一的分布(除半胱氨酸C外，其余19种氨基酸出现频率接近)。经过虚拟进化后，最佳序列的氨基酸分布与真实AMP高度相似，表现出对带正电荷的**赖氨酸(K)与精氨酸(R)的明显偏好，而带负电荷的天冬氨酸(D)与谷氨酸(E)几乎完全消失。同时，一些疏水性氨基酸如亮氨酸(L)与异亮氨酸(I)**比例上升。来自已知AMP或SP的进化序列亦呈现相似趋势(图S7b)。

综上，结果表明AMPainter能够有效地将不同类型的肽序列进化为具备高抗菌活性的AMP，且不受其初始氨基酸分布模式的限制。

图3 | AMPainter在不同初始序列上的进化表现。 (a) 三类输入序列：已知AMPs、SPs与随机序列。(b) 初始序列与进化后最佳序列的抗菌评分分布。(c) 每条肽的提升量(Δ score)。(d) 三类序列在八轮进化中的平均得分变化。(e) 随机序列在进化前后的氨基酸频率分布，与真实AMP对比。结果显示，AMPainter能够普遍提升不同来源序列的抗菌效力，并逐渐进化出符合真实AMP特征的氨基酸组成。

2.4 进化得到的AMP在体外表现出增强的活性

为验证进化AMP的抗菌效力，该研究对其最小抑菌浓度(MIC)进行了体外测定。共选取30条候选肽进行化学合成与实验测试，分别来自三类序列的前十个最佳进化肽：已知AMP(A01–A10)、信号肽(S01–S10)和随机序列(R01–R10)。这些肽均带正电荷，部分具有较高的疏水比例(表S3)。利用BLAST检索其与DRAMP数据库的相似性，除进化自已知AMP的序列外，大多数候选肽的E值大于1或完全无匹配结果(表S4)，显示其序列的新颖性。

在MIC实验中，选取了四种标准菌株，包括两种革兰氏阳性菌(B.subtilis ATCC6633和S.aureus ATCC6538)及两种革兰氏阴性菌(E.coli ATCC25922和P.aeruginosa ATCC9027)。定义MIC ≤ 128 μM且对至少一种菌株有效的肽为AMP。结果显示：

进一步比较了A01–A10及其对应初始AMP的MIC(表S5)，结果显示8条肽在至少一种菌株上MIC下降，其中5条肽在9个菌株MIC降低超过16倍。例如，A05在B.subtilis上的MIC为0.25 μM，而其原始肽Ascaphin-5为16 μM，效力提升64倍。A05在其余三株菌上也表现出色，MIC分别为1、4和0.5 μM，对应效力提升32倍、32倍和4倍。

此外，初始S01–S10与R01–R10的HyperAMP预测得分均低于0.1，表明它们原本几乎不具备AMP潜力。因此，AMPainter不仅能够优化已知AMP，还能从信号肽及随机序列中成功进化出高活性的全新AMP，实现了优化与从头生成的双重目标。

图3 | AMPainter的应用。 (a) 三类输入序列：已知AMPs、细菌信号肽(SPs)及随机序列。(b) 三类序列在AMPainter进化前后的整体得分分布，灰色为初始序列，蓝色为最佳进化序列。(c) 三类输入序列的活性提升量(Δ score)分布。(d) 三类序列在八轮进化迭代中的平均得分变化趋势。(e) 初始随机序列、AMPainter进化后的最佳序列及真实AMP的氨基酸频率分布。

2.5 进化AMP优先作用于细菌膜

在AMP设计中，溶血性与细胞毒性是评估其作为药物候选物潜力的重要指标。由于多数AMP通过破坏细胞膜发挥作用，它们常会对人类细胞膜造成损伤。该研究对24条由AMPainter进化得到的AMP测定了大鼠红细胞25%溶血浓度(HC25)和人胚肾细胞HEK293T存活率降低50%的浓度(CC50)(图5a，详见表S6)。结果发现，部分源自已知AMP的进化序列表现出溶血与细胞毒性倾向，而这类特征在其对应的初始AMP中也曾被报道过(表S5)。与此同时，一些序列展现出理想的溶血与细胞毒性特征，尤其是源自信号肽的AMP。例如，S01–S08的HC25均超过128 μM，提示细菌信号肽更倾向与细菌膜结合，而非人类细胞膜。

进一步计算了24条AMP的选择指数(SI)，即HC25或CC50与平均MIC的比值(SI > 1意味着具备潜在抗菌活性且副作用较小)。结果显示，一些AMP能够区分不同膜环境，例如A03 (SI > 23.27)、S07 (SI > 11.91)与R04 (SI > 44.44)。

为进一步验证其膜靶向特性，对SI和CC50较高的六条肽进行了分子动力学(MD)模拟。在每条肽中分别构建了两套脂质双层体系，模拟大肠杆菌内膜与人类质膜(表S7)。起始时将肽分子置于膜表面上方2 nm处，平行于膜进行500 ns模拟。结果表明，所有肽均完全吸附于E.coli膜，而在人类质膜上仅表现为一端接触，甚至完全无结合(S01与S07)(图5b)。对最后100 ns中与膜距离小于3.5 Å的重原子进行统计(图5c)，结果显示这六条肽与大肠杆菌膜的作用比例显著高于人类膜，尤其是S01与S07。基于帧计数的计算结果也一致(图S8)。这种差异主要源自静电作用：细菌膜含有更多负电荷，因而更容易吸引带正电荷的AMP。这一现象在既往研究中亦有报道。未来仍需通过更大规模的模拟及实验室实验证实其具体机制。

图4 | 进化肽在四种细菌中的最小抑菌浓度(MIC)。 (a) 来自已知AMP进化的前十条序列(A01–A10)。散点面积表示与对应初始序列相比的MIC变化倍数。(b) 来自细菌信号肽进化的前十条序列(S01–S10)。(c) 来自随机序列进化的前十条序列(R01–R10)。细菌菌株包括：Bs，B.subtilis ATCC6633；Sa，S.aureus ATCC6538；Pa，P.aeruginosa ATCC9027；Ec，E.coli ATCC25922。

2.6 从头生成AMP的进化路径

为深入理解AMPainter的进化机制，该研究分析了其在八步迭代中的活性提升情况，尤其聚焦于从随机序列进化AMP的从头生成任务。在前述体外实验中，R04表现出优异的抗菌活性与选择性，因此被选作典型案例。R04由26个残基组成，呈两亲性α螺旋结构，具备典型AMP特征(图6a,b)。

进一步收集了R04的进化路径。以初始序列2-0为起点，AMPainter共生成20条进化路径，这里展示了其中活性最高的前五条(图6c)。结果显示，随着突变步数增加，五条路径的抗菌评分均稳步上升，尤其在前四步提升最快。从突变类型来看，带正电的赖氨酸(K)与精氨酸(R)频繁出现，增加了序列的正电荷，这与AMP的常见特征一致。不同路径中也观察到一些保守突变位点，例如负电残基E12在第一步即被突变；M5、A8与A25也在多条路径中发生替换，尽管顺序不一。

以R04的单一路径为例(图6d)，初始序列2-0为非AMP。首先，AMPainter将两个负电残基突变为正电残基，得到2-1与2-2，抗菌评分随之提高。之后发生T4F与M5K突变，评分继续小幅上升。在最后三次迭代中，A8依次突变为M、E和R，呈现逐步演化的特征。然而，2-7阶段的M8E突变导致评分下降，并在实验中证实其MIC值较2-6翻倍甚至四倍，产生负面效果；最终E8R突变生成的R04则在四种菌株上均取得最佳MIC表现。更重要的是，沿该路径的体外MIC结果与预测评分高度一致，除2-7外均呈现逐步下降趋势。

此外，对R04进行了为期30天的大肠杆菌ATCC25922耐药性实验，并与环丙沙星(CIP)对照(图6e)。结果显示，CIP在第8天开始诱导耐药，而持续使用R04并未产生耐药性。

综上，R04是一个从头生成的高性能AMP，不仅展现出卓越的抗菌效力与选择性，还在耐药性测试中表现出显著优势，具有成为潜在新型抗菌剂的前景。

图5 | 进化肽的溶血性、细胞毒性及膜作用偏好。 (a) 由AMPainter进化得到的AMP在大鼠红细胞上的溶血活性(HC25)及在人胚肾细胞HEK293T上的细胞毒性(CC50)。(b) 分子动力学模拟的代表性快照，展示了R04肽与大肠杆菌内膜或人类质膜模型的相互作用。(c) AMP重原子与膜重原子之间的相互作用比例(距离阈值为3.5 Å)。

图6 | AMPainter生成的从头设计AMP R04的表征。 (a) R04的结构，由AlphaFold2预测。(b) R04的螺旋轮表示图，蓝色表示极性残基，黑色表示非极性残基。(c) R04的五条并行虚拟进化路径，肽名标注为“路径-迭代”，其中HyperAMP得分低于0.6的以黑色显示以便区分。(d) R04路径上序列的预测HyperAMP得分与实测平均MIC值一致。细菌包括：Ec，E.coli ATCC25922；Pa，P.aeruginosa ATCC9027；Sa，S.aureus ATCC6538；Bs，B.subtilis ATCC6633。(e) R04的30天耐药性测试。CIP为环丙沙星。

3 讨论

在“后抗生素时代”，耐药性感染的严峻形势迫切需要开发新型治疗分子，而抗菌肽(AMPs)因其独特优势被视为有前景的候选者。相比依赖体外实验从天然资源中筛选AMP的耗时方式，人工智能显著加速了其发现进程，例如通过宏蛋白组数据挖掘已能获得数百条AMP。同时，已有多种方法被提出用于优化现有AMP或从头生成AMP，模型架构各不相同。为整合这两类设计模式并提升性能，该研究提出了基于深度强化学习的AMPainter框架。

AMPainter可应用于三类初始序列(已知AMP、信号肽、随机序列)，并在抗菌活性预测器HyperAMP的指导下获得了一系列新型AMP。在体外实验中，前十个信号肽进化AMP的成功率达80%，随机序列为60%，表明AMPainter能够在不限制初始输入的情况下有效拓展AMP序列空间。尽管并非每条初始序列都能在有限突变步数内转化为高活性AMP，但整体进化方向与奖励分数增加趋势保持一致，体现了AMPainter的“描绘”能力。

在进化过程中，模型仅考虑了抗菌效力这一数据驱动的指标，未依赖复杂的奖励函数或专家知识。在实验验证阶段，也仅依据该指标筛选候选序列，从而减少了主观判断。尽管HyperAMP以E.coli MIC数据训练，但其训练集中AMP在其他微生物中也表现出类似分布，且该研究实验证实进化AMP对革兰氏阳性菌与阴性菌均有效，因此HyperAMP可作为通用的抗菌活性评估标准。

AMPainter的另一优势在于其可提供多条平行进化路径，帮助解析序列与活性关系。在从头生成AMP R04的案例中，实验结果与预测结果沿路径保持一致，且突变类型以增加正电荷为主。这些平行路径序列可视为人工进化谱系，未来有望与多序列比对(MSA)互补使用。

当然，AMPainter仍存在局限。其目前仅支持单点突变，不包括多点突变、插入与缺失操作；同时仅处理20种标准氨基酸，缺乏可靠预测器来评估非天然氨基酸肽，从而限制了进化空间。此外，溶血性与细胞毒性未被纳入虚拟进化奖励。由于现有毒性预测器大多为二分类模型且训练数据有限，若强行引入可能影响训练稳定性。不过，AMPainter可与这些工具结合，用于后续筛选潜在毒性肽。例如，ToxDL在测试中成功识别了16条毒性AMP中的12条(CC50 < 128 μM)，召回率达75%。

最后，对于生成AMP的作用机制仍需进一步深入研究。近期已有工作尝试将分子模拟或实验数据与机器学习工具结合，用于预测肽的膜选择性。但AI如何推动基于机制的AMP设计仍是未解问题，值得未来探索与拓展。