SA 2026 | SeFMol: 基于强化学习的半柔性分子扩散导向模型用于结构药物设计

今天介绍的这项工作发表于 Science Advances，聚焦基于结构的分子生成（Structure-Based Molecular Generation, SBMG）中“静态配体建模难以刻画真实动态相互作用”的问题。不同于传统扩散模型通常假设配体构象保持刚性、依赖静态结构完成分子生成，该研究提出了一种强化学习引导的半柔性分子扩散框架SeFMol，通过动态调整分子构象，更真实地模拟蛋白质–配体结合中的适配过程。在方法上，该工作将扩散模型去噪过程建模为马尔可夫决策过程（MDP），并引入强化学习驱动的半柔性优化策略（SFRL），持续探索化学上合理的相互作用模式；同时结合性质引导（PG）与预训练（PT）化学先验，提高分子的药物样性和性质可控性。此外，还设计快速采样策略，将采样速度提升约20倍。实验结果表明，SeFMol在Vina score、成功率（SR）以及药物样性质等多个指标上优于现有方法，并能够突破训练数据分布限制，生成具有更高亲和力和新颖性的分子结构。在CDK2和ROCK1等真实治疗靶点案例中，SeFMol成功重现已知相互作用模式，同时发现新的潜在结合模式，展示了强化学习与扩散模型结合在药物设计中的应用潜力。

获取详情及资源:

• 📄 论文: https://www.science.org/doi/10.1126/sciadv.ady9955
• 💻 代码: https://github.com/ispc-lab/SeFMol

0 摘要

当前基于结构的分子生成面临一个根本性困境：尽管静态配体建模主导了现有计算方法，但真实世界中的分子相互作用本质上是动态过程。受半柔性分子对接过程中配体构象变化启发，提出了一种由强化学习（RL）引导的扩散框架，用于蛋白质口袋中的半柔性分子生成。通过将去噪过程定义为马尔可夫决策过程（MDP），利用RL通过迭代探索动态调节分子结构。同时，引入多个分子性质作为条件约束，将去噪策略限制在药物样区域，并对无靶点和靶点特异性分子进行自监督刚性训练。此外，还提出一种快速采样策略，将采样速度提升20倍，从而提高训练与采样效率。实验结果表明，该方法优于当前最先进方法，实现了−7.23 kcal/mol的Vina score和11.53%的成功率。针对未见真实蛋白质靶标时，生成分子不仅能够保留经典相互作用模式，同时还能发现此前未知的结合化学型。

1 引言

基于结构的药物发现（SBDD）正在重塑现代药物开发范式。冷冻电镜（cryo-EM）单颗粒分析以及AlphaFold等人工智能驱动的蛋白质结构预测方法的发展，使得大规模获得蛋白靶标高分辨率三维结构成为可能。这些技术突破使得针对目标口袋开展数百万化合物的快速虚拟筛选成为现实。然而，虚拟筛选仍然受限于预定义化学空间，因此难以发现此前未知的化学型，尤其对于结构复杂或未见结合口袋，这一问题更加突出。

为克服固定化学库的局限，基于深度学习的生成模型逐渐成为一种有效替代方案，可直接基于蛋白质结构条件设计多样化分子。早期分子生成研究主要在低维空间中开展，通常将分子表示为序列或二维图结构。尽管这类表示能够借助语言模型与图神经网络（GNN）实现快速采样，但降维过程伴随着生物物理信息损失。由于缺乏三维空间构型，通过此类方法生成的分子通常难以满足实际应用中的稳定性和活性要求。三维几何深度学习的发展缓解了这一维度限制，具备特殊欧氏群SE(3)等变性的模型架构能够利用三维结构信息实现精确分子建模，并完成具有高空间保真度的de novo三维分子生成。

近期，基于结构的分子生成（SBMG）研究开始将蛋白质–配体复合物引入三维生成框架。当前SBMG模型主要采用两种范式：自回归生成和一步生成。自回归方法通过逐步生成分子结构来捕获分子序列中的复杂依赖关系。例如，AR利用蛋白质口袋作为三维上下文，对空间中的原子概率密度进行估计，并依据学习到的分布依次采样原子；Pocket2Mol与ResGen利用等变GNN学习蛋白质口袋施加的化学与几何约束，同时考虑原子和化学键信息，以自回归方式生成分子。由于逐原子生成效率较低且容易产生不合理结构，FLAG进一步利用不变GNN学习蛋白质–配体复合物几何结构，并引入片段先验进行片段级自回归采样。然而，自回归方法由于天然具有序列特征，因此容易产生误差累积，并存在结构有效性受限的问题。

相比之下，一步生成模型具有更高训练效率，并能够整体建模全局结构。这类模型通过模拟三维空间中分子由无序向有序状态演化实现生成。近年来，TargetDiff、DecompDiff以及IPDIFF等基于扩散的SBMG模型学习原子类型与空间坐标的联合分布，而MolCRAFT则在连续参数空间中进行建模。这些方法能够依据蛋白质口袋在连续三维空间中生成分子，同时保持口袋–配体复合物整体平移与旋转不变性。尽管取得了上述进展，大多数SBMG模型仍假设配体构象刚性不变，因此常忽略动态耦合效应，从而限制了对新靶标生成高质量配体的能力。此外，受限于受体–配体复合物数据质量与规模，现有方法几乎只关注高亲和力分子的生成，而忽略多分子性质协同优化问题。因此，生成分子通常难以突破训练集质量边界。

为解决上述问题，提出了SeFMol，一种由强化学习驱动的半柔性分子扩散模型。受半柔性对接策略启发，SeFMol能够在训练过程中动态调整分子构象，以更好适应结合位点。这一过程模拟了半柔性对接中固定蛋白条件下利用受限自由度优化搜索低能构象的过程。具体而言，将扩散模型去噪过程表示为马尔可夫决策过程（MDP），使强化学习能够依据口袋几何结构与性质条件引导分子结构演化。同时，引入多种分子性质作为条件输入，并结合无靶点和靶点特异性训练策略，以增强性质可控性和靶点特异性。此外，还提出一种可变快速采样策略，将采样步数由1000步减少至50步，实现20倍加速，从而显著提高训练与推理效率。通过系统实验验证了SeFMol的通用性和有效性，评估内容涵盖对接性能、药物样性质、相互作用模式、构象质量、新颖性以及采样效率。最后，在真实治疗靶标上的实验进一步验证了模型泛化能力，表明SeFMol能够作为一种稳健的基于结构药物设计框架。

2 结果

2.1 SeFMol用于基于结构的分子生成

SeFMol的训练流程包括刚性训练阶段以及随后进行的半柔性优化阶段。刚性训练阶段使用静态训练数据，并采用自监督学习策略进行分子重建，仅关注静态构象，因此可能导致较差的相互作用模式。经过刚性阶段训练得到的模型进一步通过强化学习引导的半柔性优化（SFRL）进行优化，其目标是通过优化奖励函数逐步探索化学上合理的相互作用模式。

图1｜SeFMol框架概览 a. SeFMol整体训练目标示意图。刚性训练阶段利用静态数据进行分子重建，仅关注静态构象。半柔性阶段利用强化学习（RL）优化奖励函数，以探索化学上合理的相互作用模式。 b. SeFMol两阶段刚性训练策略。在扩散过程时间步$t$中，根据固定方差调度，向原子坐标和原子类型分别添加小高斯噪声和均匀噪声。获得嵌入$x_t$和$h_t$后（微调阶段额外包含蛋白嵌入${\mathcal{P}}^{\ast }$），将其与$y$融合后输入去噪器，以重建原始坐标和原子类型。 c. 半柔性优化训练与推理阶段。该阶段执行从$M_T$到$M_0$的完整去噪过程。当采用强化学习引导的半柔性优化（SFRL）策略时，该阶段对应优化训练；否则对应推理阶段。

SeFMol两阶段刚性训练过程建立在条件扩散模型基础之上。在预训练阶段，从Molecule3D数据集中选取100万个不包含蛋白靶标的分子，并利用RDKit计算8种分子性质。这些性质随后输入线性层获得性质嵌入$y$。之后，在时间步$t$的扩散过程中，根据马尔可夫链固定方差调度，向三维分子的原子坐标和原子类型分别添加高斯噪声与均匀噪声。这些噪声经过两个线性层处理后得到嵌入特征。随后将性质特征$y$与坐标和原子类型特征进行融合，并输入基于等变GNN构建的去噪器，以预测原始坐标和原子类型，从而使去噪模型获得性质偏置。在微调阶段，利用CrossDocked2020数据集中的100,000个蛋白质–配体对及对应分子性质对预训练扩散模型进行微调。在该阶段中，同时考虑蛋白质–配体对的几何空间信息与相互作用信息，并继续执行分子噪声注入与去除过程。该过程确保去噪器在生成具有靶标感知能力的三维分子结构时仍然保持性质偏置。此后，通过上述流程获得的训练模型被称为刚性模型。

在强化学习引导的刚性模型半柔性优化过程中，将去噪步骤建模为马尔可夫决策过程（MDP），并利用梯度下降优化奖励信号。在时间步$t$时，当前分子状态$M_t$作为状态$s_t$，同时输入参考去噪器（参数冻结）与策略去噪器（微调状态）。为防止策略去噪器偏离参考去噪器过远，对两个去噪器预测位置施加Kullback–Leibler（KL）约束。此外，策略去噪器执行当前去噪动作$a_t$，经$a_t$处理后的分子结果成为下一状态$M_{t-1}$。随后根据$M_{t-1}$重建分子，并利用奖励函数计算奖励值，再结合价值网络输出更新策略去噪器参数。

由于去噪过程中间状态缺乏实际意义，无法计算亲和力，因此奖励信号较为稀疏，影响探索效率。为解决这一问题，引入刚性模型原始性质偏置，并将不同分子性质作为条件信号，以增强性质和亲和力可控性。此外，扩散模型采样通常需要大量步骤，会产生大量冗余中间状态并进一步加剧奖励稀疏问题。因此，在优化阶段引入快速采样策略，将采样步数减少至原始步骤数的1/20，从而提高训练与采样效率。

在采样阶段，SeFMol保留经过精细优化的分子扩散模型，并移除训练阶段辅助模块。首先设定目标分子的期望性质，并从状态$N$(0,$I$)开始初始化采样状态。随后，利用SeFMol去噪器获得目标蛋白对应的转移概率，并通过参数$P_{\theta }$($M_{t-1}$|$M_t$, $y$, ${\mathcal{P}}^{\ast }$)迭代生成下一状态。在指定性质引导下，新生成状态相较于前一状态具有更低熵值。最终，通过对$M_{t-1}$执行$T$步迭代采样生成分子$M_0$。

2.2 生成分子的常见性质评估

针对测试集中的每个蛋白质口袋，采样100个分子，并对SeFMol和基线模型进行了系统性能评估，重点分析对接性能、药物样性质以及分子多样性。结果显示，SeFMol在所有与亲和力相关的指标上均优于其他基线模型。在Vina score方面，SeFMol生成分子对蛋白口袋表现出较高平均亲和力（−7.23 kcal/mol），相较参考分子（−6.36 kcal/mol）提升13.7%。相比之下，其余方法难以生成比参考分子具有更高亲和力的分子。

表1｜不同指标上的性能比较 ↓表示数值越小性能越优，↑表示数值越大性能越优。最佳结果使用加粗标注。Avg.表示平均值；Med.表示中位数。

口袋层面的统计检验结果显示，SeFMol、Pocket2Mol、FLAG、TargetDiff以及MolCRAFT均获得100个hit pocket，即成功为测试集中的100个蛋白质口袋生成分子，而其他方法在部分口袋生成失败。在统计显著性方面，SeFMol单侧配对Wilcoxon检验$p$值最低，优于MolCRAFT与IPDiff。在相对于参考分子的优越概率方面，SeFMol达到0.665，在所有方法中最高。结果进一步显示，SeFMol的优越概率分布明显右偏，其中0.8至1.0区间占比最高。SeFMol数据点主要分布于左上象限，并表现出明显单调关系，即Vina值越低，其优越概率越高。

对于效应量分析，平均配对差值（MPD）为−0.700 kcal/mol，Hodges–Lehmann估计值（HLE）为−0.981 kcal/mol（95%置信区间：−1.316至−0.603），均为所有方法中最低值。值得注意的是，HLE置信区间完全低于0，表明在稳健位置估计下，SeFMol生成分子的Vina score系统性优于参考分子。这些结果共同表明，在统计检验条件下，SeFMol优于现有方法。

SeFMol生成分子通常表现出更高亲和力。此外，SeFMol生成分子的Vina score和Vina dock高度一致，相关系数达到0.95，表明其能够直接生成具有化学合理相互作用模式的构象。为分析SFRL策略作用，进一步进行了消融实验。移除SFRL后，相关系数下降4%，且生成分子更加集中于低亲和力区域。这一结果表明，SFRL策略能够有效提升分子对接性能。

进一步分析生成分子的相互作用模式合理性。较高的配体结合效率（LBE）表示每对原子间相互作用贡献更高。在该指标上，SeFMol仅低于Pocket2Mol、ResGen和AR。进一步分析显示，Pocket2Mol、ResGen以及AR生成分子的分子量较低，而SeFMol生成分子则保持与参考分子相同分子量。这说明SeFMol能够在不改变分子量条件下提高Vina能量并改善LBE，进一步体现其优势。

在药物样性质相关评价中，SeFMol同样表现优异。在药物样性定量评估（QED）指标上，SeFMol优于所有方法。在Lipinski规则评价中，相较其他扩散模型同样表现更优。在合成可及性（SA）方面，SeFMol在扩散模型中具有较强竞争力。值得注意的是，自回归方法通常生成原子数较少且结构更简单的分子，因此在该指标上表现较好。

生成分子多样性对于发现潜在候选分子同样至关重要。SeFMol生成分子的多样性略低于TargetDiff，但高于Pocket2Mol与DecompDiff。这表明SeFMol能够在多样性与其他性能之间实现有效平衡，从而满足蛋白质口袋条件下分子生成需求。进一步选取测试集中两个靶点，并与获得最高Vina score的生成分子进行可视化分析。结果表明，SeFMol生成的高评分分子同时具备良好药物样性质以及合理几何结构。

图2｜生成分子常见性质评估 a. 生成分子的Vina score与Vina dock分布及相关性分析。 b. 配体结合效率（LBE）与生成分子比例之间关系分析。 c. 分子量（MW）与生成分子比例之间关系分析。 d和e. 测试集中两个蛋白质口袋对应生成分子的几何结构、Vina score以及药物样性质比较。QED表示药物样性定量估计；SA表示合成可及性。

2.3 生成分子的采样效率与化学合理性分析

为评估不同模型之间的采样效率，对测试集中每个靶标执行100次分子采样操作，统计成功重建分子的总数，并计算生成每个分子所需的平均时间。结果显示，SeFMol在所有方法中表现最佳，平均每个分子仅需0.81 s，生成率达到98.3%；相比之下，MolCRAFT需要1.41s，而TargetDiff和DecompDiff分别需要34.28 s和61.89 s。这种优异采样性能主要归因于设计的可变快速采样策略，该策略在不降低生成完成率的前提下显著提高了采样效率。

图3｜生成分子的化学合理性评估 a. 采样效率分析，包括生成每个分子所需时间（单位：秒）以及生成分子完成率。 b. 不同方法生成分子成功率（SR）比较。 c. SeFMol生成成功分子（SR）与失败分子（Non-SR）的结构分布比较。 d. 不同方法生成分子以及测试集参考分子的性质分布比较，包括LogP、TPSA、Fsp${}^3$、HBA、HBD以及ROTB。蓝色虚线表示SeFMol预设性质。 e. 不同预训练（PT）与性质引导（PG）设置下生成分子的QED和SA比较。 f. 不同PT与PG设置下生成分子的SR比较。

进一步评估快速采样策略对模型性能的影响，在SFRL训练阶段与采样阶段分别改变去噪步数。结果显示，随着采样步数增加，对接性能逐渐下降。当移除性质引导（PG）策略后，各时间步上的Vina能量均出现恶化，说明过长轨迹会加剧由奖励稀疏性引起的不稳定性，而PG能够缓解终止奖励稀疏导致的优化不稳定问题。

对于分子性质分析，不同时间步设置下生成分子的QED-SA联合分布结果表明，在50步时，生成分子主要集中于QED≥0.5且SA≥0.5的合理区域，与100步时结果相近。当进一步增加至500步和1000步时，QED和SA仅向更高区域发生轻微偏移。较长采样过程能够使PG在后期持续发挥作用，并对性质带来有限提升，但整体改善幅度较小。总体而言，50步条件下已经能够获得与500步或1000步近似的QED-SA分布，同时相比1000步推理过程实现20倍加速。

进一步展示了不同方法在测试集中生成分子的成功率（SR）。SR是严格评价分子性质与亲和力合理性的关键指标，其定义为同时满足九项理化性质约束条件的分子比例。SeFMol获得11.53%的SR，相较IPDIFF提高8.09%，表明其在生成化学性质合理分子方面具有明显优势。

随后利用t-distributed stochastic neighbor embedding（t-SNE）对成功分子与失败分子的结构分布进行可视化。成功分子表现出高度离散的分布特征，说明其具有丰富结构多样性；相比之下，部分失败样本在左上区域形成明显聚类，提示其可能共享某些内在特征或存在类似结构缺陷。这些结果表明，PG策略能够有效引导生成分子向具有较高SR的区域分布。然而，由于预训练数据中潜在偏倚，部分分子仍然难以修正。

在生物学和化学体系中，分子的功能行为依赖于一系列复杂且高度精细的机制。分子不仅需要与特定靶标实现几何互补，从而形成高效相互作用模式，同时还需要具备特定药物样性质以触发和执行其功能。

进一步展示了测试集中SeFMol与基线模型生成分子的六种关键性质分布，其中虚线表示预设性质条件。结果显示，SeFMol生成分子与目标性质高度一致，且分布离散程度较低。这表明SeFMol能够高精度控制分子性质，并生成符合预期条件的分子。相比之下，其余基线方法由于缺乏性质控制机制，因此生成分子的性质分布呈现出不可控且高度离散特征。

在跨越血脑屏障这一关键生理过程中，血脑屏障通过严格筛选机制保护中枢神经系统。为了穿透血脑屏障并作用于中枢神经系统受体，分子的拓扑极性表面积（TPSA）通常需要小于90 Å${}^{²}$。结果显示，大量基线方法生成分子的TPSA超过90 Å${}^{²}$，表明其在控制这一关键性质方面存在局限。相比之下，当预设TPSA为50 Å${}^{²}$时，SeFMol生成分子的TPSA几乎全部低于90 Å${}^{²}$，并主要集中在50 Å${}^{²}$附近。

进一步展示了SeFMol及其三种变体在QED和SA指标上的性能表现，包括：不使用预训练（w/o PT）、不使用性质引导（w/o PG）以及同时移除预训练和性质引导（w/o PT & PG）。整体来看，SeFMol在两项指标上均表现最佳，而w/o PT & PG获得最低QED，表明同时移除两种策略会显著降低模型性能。w/o PG与w/o PT的QED介于SeFMol和w/o PT & PG之间，说明PT和PG能够独立提升模型性能。然而，在SA指标上，w/o PT & PG反而优于仅移除其中一种策略的模型，这表明PT与PG之间存在协同效应。

为量化这一现象，对PG和PT进行了统计分析。对于SA指标，获得${\mathrm{\Delta }}_{PG}=-0.0393$以及${\mathrm{\Delta }}_{PT}=-0.0323$，表明仅保留其中任一组件均会降低SA，而同时保留两种策略则能够获得正向增益（${\mathrm{\Delta }}_{both}=0.0121$）。进一步计算得到协同作用强度$\psi =0.0836$，与“全有或全无”的作用模式一致。

对于QED指标，${\mathrm{\Delta }}_{PG}=0.0607$以及${\mathrm{\Delta }}_{PT}=0.0343$表明单独保留任一组件均能够提升该指标，而同时保留两者则进一步放大增益（${\mathrm{\Delta }}_{both}=0.1259$）。推测预训练阶段学习到的化学先验能够将生成分布约束至更加合理的区域，而性质引导则在该先验基础上围绕目标性质进行精细优化。对于SA而言，由PT提供的合成安全边界能够有效防止PG导致的过度优化。当PG或PT单独使用时，通常会出现边界破坏或优化不足现象，从而导致SA提升有限甚至性能下降。相比之下，QED本身是多个因素加权组成的综合指标，而PG与PT则以部分重叠、部分互补的方式影响这些因素。因此，单独使用任一策略即可提升QED，而两者联合使用则获得最佳性能。

在不同设置下w/o PT和w/o PG条件下的SR均低于SeFMol，但高于w/o PT & PG。这表明PT和PG能够独立提升SR，而两者联合使用时效果优于单独使用。在整体上，PT与PG对于模型性能提升均具有关键作用，两者结合能够获得更优结果。

随后对预训练数据集（Molecule3D）和微调数据集（CrossDocked2020）中的常见理化性质分布进行了可视化分析。结果显示，预训练数据集中的分子通常更小，并且包含更少重原子，因此难以完全占据受体口袋。相比之下，微调数据集更频繁地包含更大、更具极性且药物样性更差的分子，因此导致预训练阶段学习到的性质先验与微调阶段遇到的数据分布之间存在不匹配。该不匹配使得预训练模型相比非预训练模型略微低估高亲和力配体，从而在高亲和力指标上产生一定程度的负迁移效应。然而，预训练模型在整体评价指标上仍优于非预训练模型，说明总体而言预训练策略仍然具有积极作用。

2.4 生成分子的可靠性与构象分析

在分子生成任务中，理想分子不仅需要具备优异药物样性质，还应具有稳定构象、合理结构分布以及可靠相互作用模式。通过比较各方法生成分子与利用AutoDock Vina重新对接后构象之间的均方根偏差（RMSD），评估SeFMol的可靠性。结果显示，SeFMol生成分子的RMSD更加接近参考分子。此外，SeFMol在对接过程中产生的原子冲突明显少于其他方法，并获得具有竞争力的性能。SeFMol在三维构象建模上的成功主要归因于SFRL策略，该策略通过动态探索分子在结合口袋中的最优空间位置构建合理构象，从而为高质量分子生成奠定基础。

为定量评估生成分子的结合合理性，进一步比较测试集中分子与不同方法生成分子的环尺寸和分子大小分布。环尺寸分布结果表明，SeFMol生成分子更倾向形成五元环和六元环。这类结构容易形成氢键，因此是药物设计中的关键子结构。对于更大尺寸环结构，相较IPDIFF，SeFMol生成更少的八元环和九元环，但由于七元环与六元环具有几何相似性，因此生成七元环数量相对较多，模型较难区分二者。整体来看，SeFMol生成更多合理五元环与六元环，同时减少大环结构比例。然而，PT与PG策略也会引入训练集中部分低频环结构。

进一步分析分子大小分布后发现，SeFMol生成分子的尺寸与训练集高度接近，说明其高亲和力并非通过增加分子大小实现，而是来源于分子设计过程中更加合理的生成机制。

在基于结构的药物设计任务中，保持生成分子与蛋白靶标之间的相互作用模式至关重要。因此，进一步分析SeFMol是否能够从三维构象中学习隐含微观相互作用模式。利用PLIP表征七种相互作用类型，并针对每个口袋计算Jensen–Shannon divergence（JSD），用于量化生成分子与参考分子之间相互作用类型分布差异。结果显示，SeFMol与TargetDiff均取得最佳性能，JSD达到0.1401。这表明，尽管SeFMol通过调整分子结构优化结合亲和力，其生成分子的相互作用类型仍与参考分子高度一致，从而验证了SeFMol学习微观相互作用模式的有效性。

基于分布学习的模型通常存在一个问题，即探索范围受限于训练数据分布，从而导致生成分子与训练集高度相似。然而，在实际应用中，先导化合物与骨架分子的设计通常需要结构新颖的分子，以更有效解决提高药物活性、减少副作用以及规避专利骨架等关键问题。结果显示，在Fréchet ChemNet distance（FCD）指标上，SeFMol排名第二，仅略低于IPDIFF。这表明SeFMol与IPDIFF均能够突破训练数据分布限制，并生成超出原始分布范围的新结构。

为更加直观地理解结构分布差异，进一步采用主成分分析（PCA）对生成分子进行降维可视化。结果显示，SeFMol与IPDIFF生成分子的分布与训练集存在明显差异。同时，SeFMol在PCA评分上优于IPDIFF。推测其主要原因在于，两种模型均引入相互作用先验，使模型倾向探索高亲和力结构，从而诱导结构分布发生偏移。

进一步分析生成分子的多样性与FCD之间关系。结果显示，移除PT、PG与SFRL策略后，分子多样性提高，但FCD所衡量的新颖性同时下降。这表明，当利用PG与SFRL提高亲和力及分子性质时，生成策略更倾向于利用局部高评分结构，从而牺牲更广化学空间探索能力，并直接降低整体多样性。然而，该策略能够帮助模型突破训练数据分布限制，并提升生成分子新颖性。

图4｜生成分子的结构与构象评估 a. 生成分子相对于参考分子的RMSD分布。 b. 测试集中生成分子与参考分子的分子尺寸（重原子数）分布。 c. 生成分子与训练集分子之间结构分布的Fréchet ChemNet distance（FCD）。 d. 生成分子与测试集分子之间相互作用类型分布的Jensen–Shannon divergence（JSD）。 e. 不同方法生成分子的环数量分布比较。 f. 不同方法下生成分子与蛋白口袋之间原子冲突数量分布比较。 g. 利用主成分分析（PCA）对不同方法生成分子及测试集参考分子进行降维结构可视化。

2.5 SeFMol针对真实治疗靶标的定制分子生成

利用SeFMol针对真实治疗蛋白开展分子生成，以评估其捕获相互作用模式以及控制生成分子性质的能力。从Protein Data Bank（PDB）中选择cyclin-dependent kinase 2（CDK2；PDB ID:1H00）与rho-associated protein kinase 1（ROCK1；PDB ID:6E9W）作为真实治疗靶标。这两种蛋白在细胞周期调控、细胞骨架重塑以及肿瘤发生等过程中发挥关键作用，因此具有重要药物开发价值。利用PLIP表征目标蛋白与生成分子之间的蛋白质–配体相互作用。具体而言，使用SeFMol原始版本（预设性质参数见材料与方法部分），以及TPSA预设值为110和Fsp${}^3$预设值为1的版本，分别为每个靶标生成100个配体，并利用SR进行筛选以获得合格分子。

结果表明，SeFMol生成分子的Vina score得到提升，说明其与靶标具有更强结合能力，并具备增强药物活性的潜力。值得注意的是，生成分子不仅能够重现部分实验活性分子的相互作用模式，保证与已知有效模式一致，同时还探索出全新的相互作用模式。例如，在ROCK1体系中，与Ala形成卤键以及与Asp形成盐桥等新的相互作用虽然未出现在已知活性分子中，但具有合理性。

在药物性质评价方面，SeFMol表现优异。生成分子具有合理性质，在提升靶标亲和力的同时有效平衡药物可开发性关键指标，从而实现亲和力与药物性质之间的平衡。

随后进一步分析SeFMol对生成分子性质的控制能力。结果显示，不同预设Fsp${}^3$与TPSA条件下生成分子的性质分布围绕预设值波动，并呈现近似正态分布。进一步验证SFRL策略在真实靶标上的有效性。亲和力相关性分析表明，采用SFRL生成的分子具有较高亲和力相关性。这些结果表明，SFRL成功学习了基于几何结构的相互作用规律，而这对于提升生成分子与靶标之间的亲和力至关重要。

图5｜针对CDK2和ROCK1的生成分子评估 a和b. 针对CDK2和ROCK1，在不同条件下活性分子与SeFMol生成分子的蛋白质–配体相互作用及分子性质分析。 c至f. 针对CDK2和ROCK1生成的100个SeFMol分子中，在保持其他性质固定条件下，仅改变Fsp${}^3$或TPSA时对应Fsp${}^3$和TPSA分布比较。 g和h. 针对CDK2和ROCK1，在采用和不采用SFRL策略条件下生成100个分子的Vina能量相关性分析。

此外，还利用SeFMol针对AlphaFold预测蛋白结构开展分子生成。与晶体结构来源口袋相比，这些结构在构象精度与口袋几何结构方面存在差异。结果显示，SeFMol在多个蛋白靶标上获得的Vina score整体向更低值偏移，并表现出更优中心趋势，说明SeFMol能够为预测蛋白结构生成性能优异的配体。

3 讨论

在基于结构的药物设计中，理解由配体构象变化引起的动态相互作用模式，对于揭示蛋白质–配体之间非静态相互作用机制至关重要。这种理解能够进一步促进分子亲和力和选择性的优化。提出了SeFMol，一种能够高效针对蛋白口袋生成分子的半柔性分子扩散模型。通过将预训练扩散模型的去噪过程表示为马尔可夫决策过程，并利用梯度下降动态优化分子去噪过程，在每一步去噪过程中引入性质条件引导，以缓解奖励稀疏导致的不合理分子生成问题。最终，在探索过程中获得同时具备高亲和力和优良药物样性质的分子。此外，还引入快速采样策略，通过显著减少扩散模型时间步数，提高训练与采样效率。

SeFMol在生成高亲和力分子、药物样性质以及结构新颖性方面均优于现有基线方法。通过强化学习引导的半柔性优化策略，SeFMol获得优异对接性能并实现更优Vina score。SeFMol在不改变分子尺寸的情况下提升结合能，从而保证生成分子的分子量与参考分子相近。同时，SeFMol生成分子具备优良药物样性质，在QED、Lipinski以及SA指标上均表现突出。得益于快速采样策略，SeFMol推理速度优于其他方法，并获得98.3%的完成率。SeFMol还能够有效控制分子性质，使生成分子满足目标要求。生成构象具有较高稳定性，并表现出可靠相互作用模式、更优RMSD、更少原子冲突以及形成合理环结构的能力。SeFMol能够有效学习微观相互作用模式，在优化结合亲和力的同时保持相互作用类型稳定。此外，还能够探索超出训练数据分布的新结构，这对于开发活性更高且副作用更低的先导分子具有重要价值。CDK2和ROCK1案例进一步表明，生成分子具有更高亲和力和更优药效，并能够同时重现已知相互作用模式以及探索新的相互作用机制。

尽管所提出策略具有较强探索能力，但SeFMol仍通过牺牲部分多样性换取更高结合能以及更优理化性质。这种多样性损失主要来源于PG、PT以及SFRL策略带来的分布偏移和利用偏置。未来可通过多目标奖励设计以及自适应探索策略进一步平衡探索与利用之间的关系。

总体来看，SeFMol作为一种新的分子生成工具，展现出显著优势。其在亲和力、药物样性质以及构象稳定性方面均实现明显提升，同时有效解决采样效率和化学合理性问题。此外，其突破训练数据分布限制并探索新结构的能力，使其在药物发现与开发领域具有广阔应用前景。