摘要：近日，清华大学车辆与运载学院李克强院士、李升波教授团队在强化学习算法设计领域取得重要进展。团队针对工业对象的智能决策与控制需求，推出了DSAC（Distributional Soft Actor Critic）系列强化学习算法，解决了已有方法值函数学习不准、策
近日，清华大学车辆与运载学院李克强院士、李升波教授团队在强化学习算法设计领域取得重要进展。团队针对工业对象的智能决策与控制需求，推出了DSAC（Distributional Soft Actor Critic）系列强化学习算法，解决了已有方法值函数学习不准、策略性能低下的难题，并于典型基准测试任务中取得了国际领先的SOTA性能。第一代DSAC算法发表于《IEEE神经网络与学习系统汇刊》（IEEE Transactions on Neural Networks and Learning Systems）（2022），第二代发表于《IEEE模式分析与机器智能汇刊》（IEEE Transactions on Pattern Analysis and Machine Intelligence）（2025）。
强化学习在具身智能控制（如自动驾驶、机器人等）任务中展现出巨大潜力，但主流方法长期面临“值函数过估计”难题。简而言之，贝尔曼方程的迭代求解过程中，因为最大化算子的存在，易造成值函数（即性能衡量指标）误差向单一方向持续累积，导致策略学习严重偏离最优解。该问题最早在1993年由斯坦福大学的学者从算法实验中发现，进入深度强化学习阶段之后，因神经网络拟合速度慢以及固有训练误差的存在，导致过估计问题更加严峻。自2010年开始，Deepmind、麦吉尔大学的科学家先后提出了Double Q-learning、Clipped Double-Q等一系列措施，尝试使用双函数互相矫正的思想解决单一函数的计算误差。这些措施虽然在一定程度上抑制了值函数的过估计问题，但是对于高维非线性任务，仍面临值函数学习不准、策略性能低下的瓶颈难题。
图1.DSAC算法核心架构和关键技术
自2019年开始，车辆学院研究团队聚焦“如何提高强化学习算法性能”这一问题开展攻关。首次发现了值分布函数（distributional value function）的估计偏差调节机制，证明了过估计偏差与值分布方差呈反比的结论。团队将这一机制与最大熵框架结合，把策略优化目标的刻画从单一维度扩展为无穷维度，以此为基础提出了第一代DSAC算法，极大提升了复杂工业控制任务的学习性能。为进一步改进该算法的迭代稳定性，并降低参数敏感度，团队提出了三项全新的值分布梯度修正技术，即Expected Value Substituting（EVS）、Twin Value Distribution Learning（TVDL）和Variance-Based Critic Gradient Adjustment（VCGA），并将其嵌入到第二代DSAC算法中（又称为DSAC-T）。EVS的原理是在训练值分布网络时以期望目标值替代单次随机样本，显著降低梯度方差，提高学习稳定性。TVDL的原理是并行训练两个独立值分布网络，借鉴Double Q-learning的思路，在更新时选取更保守的一方，进一步抑制过估计误差。VCGA的原理是根据值分布方差自适应缩放值分布函数更新梯度，使算法在不同任务和参数设定下都能保持稳定且一致的性能。标准测试环境的实验表明，DSAC算法的综合表现全面超越SAC（UC Berkeley）、TD3（McGill）、DDPG（DeepMind）、TRPO（UC Berkeley）、PPO（OpenAI）等主流强化学习算法。
图2.典型任务的性能对比
目前，研究团队已将DSAC两代算法进行了开源，并集成于自主研发的GOPS工具链，以方便学术界与工业界验证与使用。该算法已应用于端到端自动驾驶、具身智能机器人、工程机械无人作业等领域的模型训练，与滴滴、广汽、东风、一汽、宝武等龙头企业开展产业应用服务。该项目得到国家“十四五”重点研发计划、国家自然科学基金、北京市自然科学基金及清华大学自主科研计划的资助。
该研究由李克强院士、李升波教授团队独立完成，相关算法可参考两篇论文并附上代码开源链接：
1. “融合三项改进的分布式Soft Actor-Critic算法”（Distributional Soft Actor-Critic with Three Refinements），2025年5月发表于《IEEE模式分析与机器智能汇刊》（IEEE Transactions on Pattern Analysis and Machine Intelligence）。车辆学院李升波教授为通讯作者，车辆学院李克强院士、李升波教授团队青年教师段京良为第一作者，团队2018级博士生王文轩、博士后郜嘉鑫，北京科技大学2023级硕士生肖礼明，北京大学工学院助理教授刘畅，清华大学智能产业研究院院长张亚勤院士，车辆学院研究员成波、李克强院士等也为研究作出了贡献。
论文链接：https://ieeexplore.ieee.org/document/10858686
2. “分布式Soft Actor-Critic：可修正值函数估计误差的off-policy强化学习算法”（Distributional soft actor-critic: off-policy reinforcement learning for addressing value estimation errors），2022年11月发表于《IEEE神经网络与学习系统汇刊》（IEEE Transactions on Neural Networks and Learning Systems）。车辆学院李升波教授为通讯作者，车辆学院李克强院士、李升波教授团队青年教师段京良为第一作者，团队2017级博士关阳、博士后孙琪，车辆学院研究员成波等也为研究作出了贡献。
论文链接：https://ieeexplore.ieee.org/document/9448360
3. 代码开源链接：
DSAC开源链接：
GOPS开源链接：
来源：清华大学一点号