华东理工大学林嘉平教授、王立权教授团队AM：深度强化学习驱动聚酰亚胺“逆向设计”，实现高性能薄膜材料的智能创制

摘要：近年来，随着电子设备向高度薄膜化、多功能化和集成化方向发展，对有机薄膜材料的性能提出了更高要求。聚酰亚胺作为一类高性能聚合物，因其优异的热稳定性、机械强度和绝缘性，在柔性显示、航空航天等领域具有广泛应用。然而，传统的材料设计方法严重依赖专家经验，难以在多个性能

近年来，随着电子设备向高度薄膜化、多功能化和集成化方向发展，对有机薄膜材料的性能提出了更高要求。聚酰亚胺作为一类高性能聚合物，因其优异的热稳定性、机械强度和绝缘性，在柔性显示、航空航天等领域具有广泛应用。然而，传统的材料设计方法严重依赖专家经验，难以在多个性能指标之间实现最优平衡，加之化学空间极其庞大，使得通过试错方式筛选理想材料变得效率低下、成本高昂。

针对这一挑战，华东理工大学林嘉平教授、王立权教授团队提出了一种基于深度强化学习的“逆向设计”策略，开发出一款名为DAPIGen的智能代理系统，实现了无需模板的聚酰亚胺从头设计。该系统结合了四种机器学习模型筛选出的性能预测器，以及基于片段生成的架构，能够根据目标性能要求自主生成具有高透明度、低线性热膨胀系数、高拉伸强度和高玻璃化转变温度的新型聚酰亚胺分子。实验验证表明，该方法不仅高效可靠，还能发现传统方法难以触及的新型高性能材料，为高分子材料的智能化设计提供了新范式。相关论文以“De Novo Design of Polyimides Leveraging Deep Reinforcement Learning Agent”为题，发表在Advanced Materials上，论文第一作者为Xu Yinyi。

图1：深度强化学习驱动的聚酰亚胺从头设计流程。 a) 聚酰亚胺分子结构被编码为潜在向量，QSPR模型将这些向量映射到目标性能，指导强化学习奖励系统训练智能体生成符合目标的结构。 b) 使用训练后的智能体从常见二酐和二胺片段出发，逐步生成满足特定标准的聚酰亚胺。

研究团队首先构建了四种不同的定量结构-性能关系模型，包括基于描述符的神经网络、自然语言模型polyBERT以及两种图神经网络模型AFP和FraGAT。通过在大规模聚酰亚胺数据集上的反复训练与评估，发现AFP模型在预测透明度、热膨胀系数、拉伸强度和玻璃化转变温度等方面表现出最优的综合预测精度和泛化能力，而polyBERT模型则在训练稳定性上表现最佳。因此，研究选用AFP模型作为强化学习中的奖励函数计算器，polyBERT则用于生成分子嵌入向量作为环境状态表征。

图2：数据集分布与QSPR模型评估。 a)-d) 分别展示透明度、线性热膨胀系数、拉伸强度和玻璃化转变温度数据集的训练、验证和测试集分布。 e)-h) 四种QSPR模型在50次重复训练后的RMSE分布。 i)-l) AFP模型在四个数据集上的预测精度表现。

在深度强化学习框架下，DAPIGen通过近端策略优化算法，逐步从二酐和二胺片段库中选择合适的片段进行组合，以构建完整的聚酰亚胺重复单元。过程中，AFP模型对最终生成的分子进行性能评估并反馈奖励值，引导智能体逐步优化其生成策略。结果显示，随着训练轮次增加，生成分子的有效性显著提升，性能分布逐渐向预设的高透明度、低热膨胀、高强度、高玻璃化转变温度方向收敛。经过70轮训练后，智能体已能稳定生成在多个性能指标上均优于文献报道值的新型聚酰亚胺。

图3：智能体训练进程与高透明度聚酰亚胺性能提升。 a) 奖励值随训练轮次的演变。 b)-f) 训练集与智能体生成聚酰亚胺在透明度、热膨胀系数、拉伸强度、玻璃化转变温度和合成难度评分上的分布对比，箭头表示优化方向。

通过对生成分子进行化学空间聚类分析，研究发现所有高性能聚酰亚胺均含有特定结构的二胺单体——3,6-二氨基-9H-呫吨-9-酮，表明该结构在实现高透明度与高热机械性能方面具有关键作用。进一步通过注意力权重分析发现，双键片段、含硫氧基团、卤素原子和芳香环等结构对透明度、热膨胀系数、拉伸强度和玻璃化转变温度等性能具有显著影响，揭示了聚酰亚胺结构与性能之间的内在关联。

图4：生成聚酰亚胺的化学空间与聚类分析。 a) 不同训练阶段生成聚酰亚胺在降维后的化学空间中的分布。 b) 基于轮廓系数和惯性确定最佳聚类数量。 c) 经K均值聚类后聚酰亚胺在六个簇中的分布。 d) 各簇中奖励值最高的聚酰亚胺结构及其性能指标。

为验证生成分子的实际性能，团队合成了若干代表性聚酰亚胺薄膜并进行表征。实验结果表明，其光学、热学和力学性能与模型预测高度吻合，其中一款基于BPDA与NDA的低透明度聚酰亚胺薄膜在综合性能上甚至优于现有文献报道材料，显示出该方法在实现多功能平衡方面的强大潜力。

图5：聚酰亚胺化学结构与性能分析。 a)-c) 三种实验验证聚酰亚胺的化学结构及其薄膜实物图。 d)-f) 三种薄膜的实验值与预测值对比。 g)-h) BPDA/NDA低透明度薄膜与文献报道材料的性能对比。

图6：聚酰亚胺片段注意力权重分析。 a) 四个数据集中前22个片段的注意力权重分布可视化。 b) 前22个片段的结构列表。 c) 两个示例聚酰亚胺重复单元结构，着色部分对应b中片段。 d) 6FDA/4,4′-EDA聚酰亚胺在四个性能上的注意力权重分布。

该研究成功构建了一种基于深度强化学习的聚酰亚胺逆向设计平台DAPIGen，实现了从性能目标出发的分子结构智能生成。该方法不仅突破了传统试错法和正向设计的局限，还发现了二胺结构在调控聚酰亚胺性能中的核心作用，为今后按需设计高性能聚合物材料提供了重要指导。这一可扩展的策略有望推广至其他聚合物体系，推动材料研发进入智能化、精准化新阶段。