摘要：这项由上海交通大学的陈思霖、顾晓东等研究人员与华为、UC圣地亚哥等机构合作完成的研究发表于2025年7月，论文标题为"SWE-Exp: Experience-Driven Software Issue Resolution"。有兴趣深入了解的读者可以通过Git
这项由上海交通大学的陈思霖、顾晓东等研究人员与华为、UC圣地亚哥等机构合作完成的研究发表于2025年7月，论文标题为"SWE-Exp: Experience-Driven Software Issue Resolution"。有兴趣深入了解的读者可以通过GitHub项目页面https://github.com/YerbaPage/SWE-Exp获取完整代码和数据。
当我们遇到程序出现问题时，通常会先回想之前是否遇到过类似情况，然后根据过往经验来解决问题。然而，目前的AI代码修复系统却像患了"健忘症"的修理工，每次面对新问题时都要从零开始，重复尝试那些已经被证明无效的方法，同时也错过了利用成功经验的机会。
这个现象就像一个修理工每天都在修理各种家电，但从不记录哪些方法有效、哪些无效。结果是，当面对相似问题时，他仍然会重复那些已经失败过的尝试，浪费大量时间和精力。研究团队意识到，如果能让AI系统像有经验的老师傅一样，不断积累和运用过往的成功经验，那么代码修复的效率和准确性都会大幅提升。
研究团队开发了一个名为SWE-Exp的新系统，它能够从以往的修复过程中提取宝贵经验，并在处理新问题时智能地运用这些经验。这种方法就像给AI装上了"记忆芯片"，让它能够记住每次成功和失败的经历，并在下次遇到类似问题时快速找到最佳解决方案。
在SWE-bench-Verified基准测试中，SWE-Exp系统达到了41.6%的修复成功率，相比之前最好的方法提升了7.2%。这意味着在100个代码问题中，新系统能够多解决7个问题，这在软件工程领域是一个显著的进步。更重要的是，这种方法为AI代码修复开辟了一条全新道路，从单纯的试错探索转向了基于经验的智能修复。
一、记忆缺失的AI修理工：现有系统的根本问题
目前的AI代码修复系统面临着一个根本性问题，就像一群患有短期记忆障碍的修理工，每次面对新的故障时都要重新开始学习。这种现象在软件工程领域尤其突出，因为代码问题往往具有相似的模式和解决思路。
以Django网络框架中的一个典型问题为例。当多个复选框组件同时显示时，原本应该只有被选中的框显示勾选状态，但实际情况是所有复选框都显示为选中状态。这个问题的根源在于CheckboxInput组件会直接修改传入的属性字典，导致多个组件共享同一个被污染的属性集合。
传统的AI系统在遇到这类问题时，往往只关注表面现象。它们会看到"复选框显示异常"这个症状，然后在复合组件的渲染方法中添加属性字典的复制操作。虽然这种修复看起来解决了眼前的问题，但实际上只是治标不治本的"创可贴"方案。真正的病根——CheckboxInput组件会修改输入参数——并没有被解决，未来在其他场景下仍然可能出现同样的问题。
而具备经验学习能力的系统则会采取完全不同的方法。它从过往的类似案例中学会了一个重要原则：当方法会修改输入参数时，应该在方法内部创建参数的副本，而不是让调用方承担这个责任。基于这个经验，系统会深入到CheckboxInput.get_context方法内部，在修改属性之前先创建attrs字典的副本。这种修复不仅解决了当前问题，还能防止未来在其他使用场景中出现类似错误。
这个例子清楚地展现了经验学习的价值。没有经验积累的系统就像新手修理工，看到什么坏了就修什么；而有经验的系统则像资深专家，能够识别问题的本质并从根源上解决。研究团队发现，当前的AI代码修复系统普遍存在三个核心问题：重复无效探索、无法传承成功经验，以及缺乏策略性演进能力。
重复无效探索表现为系统在面对相似问题时，仍然会尝试那些已经被证明无效的方法。这就像一个人每次走迷宫都选择同样的死胡同，从不记住哪些路径是行不通的。无法传承成功经验则意味着系统无法将一次成功的修复经验应用到类似的新问题上，每次都要重新摸索。缺乏策略性演进更是限制了系统的长期发展，无法通过积累经验来提升整体的问题解决能力。
这些问题的根源在于现有系统把每个代码问题都当作独立事件来处理，忽视了软件工程中问题模式的相似性和解决方案的可复用性。软件开发中的很多问题其实都有共同的模式，比如参数处理错误、内存泄漏、并发冲突等，如果能够识别和利用这些模式，修复效率就能显著提升。
二、构建AI的"经验银行"：SWE-Exp系统的创新设计
SWE-Exp系统的核心创新在于构建了一个"经验银行"，专门用来存储和管理从过往修复过程中提取的宝贵经验。这个经验银行就像一个经验丰富的老师傅的记忆宝库，记录着各种问题的解决思路和修复技巧。
整个系统的工作流程就像一个完整的学习循环。首先，系统会收集各种代码修复尝试的详细记录，包括成功的修复过程和失败的尝试。这些记录就像学生的作业本，详细记录了每一步的思考过程和操作结果。然后，系统会从这些记录中提取可重复使用的经验模式，就像老师从学生作业中总结出解题方法一样。
经验提取过程分为两个层面：理解经验和修改经验。理解经验关注的是如何正确分析和理解问题，包括如何识别关键症状、形成诊断假设、利用上下文线索等。修改经验则聚焦于具体的代码修改策略，包括如何分配修改责任、如何评估安全性和副作用等。
举个具体例子来说明理解经验的作用。在处理Sphinx文档生成工具的变量链接问题时，理解经验会指导系统认识到"问题的核心在于Sphinx如何处理文档中的变量链接，特别是在不同上下文中同名变量的自动链接机制"。这种高层次的问题理解帮助系统避免在错误的方向上浪费时间，直接聚焦于变量文档字段的角色分配问题。
修改经验则提供了具体的修复指导原则。比如"当修改接受可选参数的方法时，确保逻辑能够正确处理参数的存在和缺失情况，避免意外覆盖有效输入"。这些经验就像修复工作的最佳实践指南，帮助系统避免常见的修复陷阱。
为了高效管理这些经验，系统使用了向量数据库来存储经验信息。每个经验都会被转换成数字向量，并标注上问题类型和描述信息。这样，当面对新问题时，系统就能通过语义相似度快速找到最相关的历史经验。这个过程就像在图书馆中根据关键词快速找到相关书籍一样高效。
系统还设计了智能的经验检索和排序机制。面对新问题时，系统首先会检索出最相关的10个历史经验，然后通过专门的重排序算法选出最有用的经验。为了避免数据泄露，系统严格禁止使用来自同一代码仓库的经验，确保学到的是真正可泛化的解决模式。
经验的使用过程也经过了精心设计。系统采用了双智能体架构，由指导者智能体负责高层策略规划，助手智能体负责具体操作执行。指导者会根据检索到的理解经验来制定总体修复策略，而助手则会根据修改经验来执行具体的代码修改操作。这种分工就像建筑工程中的总工程师和施工队长，确保既有整体规划又有执行细节。
三、从试错到智慧：双智能体协作的精妙设计
SWE-Exp系统采用了一种类似于经验丰富的工程团队的协作模式，将复杂的代码修复任务分解给两个专门的智能体：指导者和助手。这种设计灵感来自于现实世界中专家团队的分工协作模式。
指导者智能体就像项目的技术总监，主要负责制定修复策略和把控整体方向。它会根据问题描述和历史经验来判断应该采用什么样的修复思路，需要重点关注哪些代码区域，以及整体的修复步骤应该如何安排。指导者不会陷入具体的代码细节，而是保持高屋建瓴的视角，确保修复工作始终朝着正确的方向前进。
助手智能体则像经验丰富的程序员，专门负责执行具体的操作任务。它会根据指导者的指令来搜索代码、查看文件内容、进行代码修改等具体工作。助手拥有丰富的工具库，包括类搜索、函数搜索、代码片段搜索、语义搜索等多种代码探索工具，以及字符串替换、文件创建等代码修改工具。
这种分工的好处在于避免了单一智能体在处理复杂任务时容易出现的"顾此失彼"问题。传统的单智能体系统往往会在搜索代码时迷失方向，花费大量时间在无关的代码区域中游荡，或者在进行代码修改时过于保守，不敢做出必要的改动。
双智能体协作模式还结合了蒙特卡洛树搜索算法，这是一种在围棋等复杂决策问题中被证明非常有效的搜索方法。在代码修复的背景下，这种搜索方法会构建一个决策树，每个节点代表代码库的一个状态，每条边代表一个可能的操作。系统会智能地探索这个决策树，既要充分利用已知的有效路径，又要适度探索新的可能性。
经验信息的融入让这个搜索过程变得更加智能。当系统需要做出决策时，它会动态地检索相关的历史经验，并将这些经验作为额外的指导信息融入到决策过程中。这就像给决策树的每个节点都配备了一个经验顾问，能够基于历史成功案例来建议最有希望的探索方向。
为了防止经验信息造成误导，系统还设计了精心的经验筛选机制。对于每个新问题，系统会检索出多个相关经验，然后通过专门的重排序智能体来评估这些经验的适用性，最终只选择最相关的一个经验来指导当前的修复过程。这种"精选经验"的方式确保了经验的质量，避免了信息过载导致的决策混乱。
实验结果显示，这种双智能体协作模式相比传统的单智能体方法有明显优势。指导者智能体的决策变得更加专注和高效，因为它不需要处理具体的工具操作细节；助手智能体的执行也更加精准，因为它收到的都是经过深思熟虑的高质量指令。两者的配合就像经验丰富的建筑师和技艺精湛的工匠，既有宏观规划又有精细执行。
四、实战检验：41.6%成功率背后的技术突破
为了验证SWE-Exp系统的实际效果，研究团队在SWE-bench-Verified基准测试上进行了全面的实验评估。这个基准测试包含了来自真实开源项目的代码问题，每个问题都经过人工验证，确保了测试的权威性和可靠性。
实验结果令人振奋。SWE-Exp系统达到了41.6%的修复成功率，相比之前最好的SWE-Agent方法的38.8%提升了7.2%。这个提升幅度在代码修复领域是非常显著的，因为每提升一个百分点都意味着能够解决更多实际的软件问题。
更值得注意的是，SWE-Exp系统使用的是开源的DeepSeek-V3-0324模型，相比一些使用更强大商业模型的竞争方法，SWE-Exp展现出了更好的性能。比如，使用GPT-4o模型的AutoCodeRover达到了38.4%的成功率，CodeAct达到了30.0%，而SWE-Exp仅仅使用开源模型就超越了这些结果。这说明了架构设计和经验学习的重要性，证明了巧妙的方法设计能够弥补甚至超越模型能力的差距。
为了深入理解系统各个组件的贡献，研究团队还进行了详细的消融实验。结果显示，理解经验的移除对性能影响最大，成功率从41.6%下降到38.4%，降幅达到3.2%。这证实了研究团队的核心假设：让AI系统学会正确理解问题是提升修复能力的关键因素。
修改经验的移除导致成功率下降2.6%，降至39.0%。虽然影响相对较小，但仍然显著，说明具体的修改策略经验也是系统性能的重要支撑。双智能体架构的移除使成功率下降到39.4%，验证了这种协作模式的有效性。
特别有趣的是关于经验数量的实验发现。研究团队测试了使用不同数量经验对系统性能的影响，结果显示使用单个精选经验时效果最好，达到41.6%的成功率。当增加经验数量时，性能反而出现下降：使用2个经验时成功率降至40.4%，使用4个经验时进一步降至39.6%。
这个现象类似于人类专家在解决问题时的经验。当面临复杂决策时，过多的建议和经验往往会造成信息过载，反而影响决策质量。一个精准匹配的经验指导往往比多个模糊相关的经验更有价值。这个发现对于经验驱动的AI系统设计具有重要指导意义，说明经验质量比数量更重要。
研究团队还分析了不同经验数量设置下能够解决的独特问题。结果显示，不同配置确实能够解决不同的问题子集，这表明如果能够更好地处理经验间的冲突和互补关系，可能还有进一步提升的空间。
为了验证系统的实际应用价值，研究团队还进行了详细的案例分析。在一个涉及Django模型字段枚举值字符串表示的问题中，传统方法会错误地在get_prep_value方法中添加枚举转换逻辑，这种修复虽然能解决表面问题，但违背了方法的设计初衷。而SWE-Exp系统基于历史经验，正确地识别出应该在枚举类的__str__方法中进行修复，确保了枚举值的字符串表示行为符合预期。
五、突破与局限：经验学习的双面性探索
SWE-Exp系统在取得显著成果的同时，也暴露出经验学习方法的一些有趣特性和潜在限制。这些发现对于理解经验驱动AI系统的工作机制具有重要价值。
在实际应用中，研究团队发现经验信息可能产生两面性效应。一方面，相关的历史经验能够显著提升系统的问题理解能力和修复质量；另一方面，如果经验与当前问题的匹配度不够高，或者系统对经验的依赖过度，反而可能导致性能下降。
这种现象在理解经验的使用上表现得尤为明显。在早期的系统版本中，指导者智能体会明确引用理解经验作为其思考过程的一部分，这使得决策过程更加透明可解释。然而，这种显式引用也导致了过度依赖的问题：即使已经通过环境探索获得了足够的信息，系统仍然会继续依赖历史经验，有时会应用不太合适的策略。
为了解决这个问题，研究团队改进了经验使用方式，将经验作为背景上下文提供给系统，而不是要求系统明确引用。这种隐式使用方式让系统能够在需要时参考经验，同时保持足够的灵活性来适应具体情况。这个改进体现了经验学习系统设计中的一个重要原则：经验应该起到指导作用，而不是约束作用。
系统在跨代码仓库的经验泛化方面表现出了令人鼓舞的能力。通过严格的跨仓库验证，研究团队确认了提取的经验确实具有普遍适用性，而不仅仅是特定项目的特殊规律。这种泛化能力的验证对于经验学习方法的实用价值至关重要。
然而，系统目前还缺乏robust的经验适用性评估机制。虽然有重排序智能体来筛选经验，但这个过程主要基于表面的相似性匹配，无法深入评估经验在新场景中的适用程度。这种局限性可能导致在某些边缘情况下应用不合适的经验，影响修复效果。
另一个值得关注的发现是经验质量对系统性能的决定性影响。高质量的经验能够显著提升修复成功率，而低质量或不相关的经验则可能产生负面影响。这突出了经验提取和筛选过程的重要性，也暗示了未来改进的方向：开发更智能的经验质量评估方法。
研究团队还发现，修改经验相比理解经验表现出更强的鲁棒性。这可能是因为具体的修改策略更容易验证和评估，而高层次的问题理解经验更容易受到上下文变化的影响。这个发现对于经验学习系统的设计具有指导意义，建议在不同类型的经验上采用不同的质量控制策略。
从技术发展角度看，SWE-Exp系统开创了一个新的研究方向，即如何让AI系统通过经验积累来持续改进。这种方法不仅适用于代码修复，也可能扩展到其他需要复杂推理和决策的任务领域。然而，要真正发挥经验学习的潜力，还需要在经验表示、检索、适用性评估等多个方面进行进一步的研究和改进。
当前系统的另一个限制是主要针对Python语言的代码库进行了验证。虽然经验学习的核心思想是语言无关的，但不同编程语言的特定模式和惯例可能需要专门的经验积累。跨语言的经验泛化能力是一个值得深入探索的研究方向。
六、未来展望：从记忆到智慧的AI进化之路
SWE-Exp系统的成功不仅仅是一个技术突破，更重要的是为AI系统的发展指明了一个新方向：从简单的模式识别转向真正的经验学习和智慧积累。这种转变可能会深刻影响整个人工智能领域的发展轨迹。
在软件开发领域，这项技术的应用前景非常广阔。传统的代码审查过程往往依赖于人类专家的经验和直觉，而经验学习的AI系统可以作为强有力的辅助工具，帮助识别潜在问题并提出修复建议。特别是在大型软件项目中，这样的系统可以帮助维护团队更高效地处理bug修复和代码优化任务。
从更宏观的角度看，经验学习方法可能会改变我们对AI系统能力边界的理解。传统观点认为，AI系统的能力主要受限于训练数据的质量和模型的复杂度。但SWE-Exp的成功表明，智能的经验积累和运用机制同样重要，甚至可能比单纯的模型规模扩大更有效。
这种方法学上的转变也引发了关于AI系统设计哲学的思考。与其追求一个万能的超级模型，不如构建能够持续学习和改进的适应性系统。这样的系统不仅能够处理已知的问题类型，还能够通过经验积累来应对新出现的挑战。
然而，要实现这个愿景还需要解决许多技术挑战。首先是经验质量控制问题。随着经验库的不断扩大，如何确保存储的经验都是高质量和相关的，如何自动识别和淘汰过时或错误的经验，这些都需要更精密的技术方案。
其次是经验冲突处理问题。当面对复杂问题时，不同的历史经验可能会给出矛盾的建议。如何智能地协调这些冲突，找到最适合当前情况的解决方案，这需要更高级的推理能力。
跨领域经验迁移也是一个值得探索的方向。目前的系统主要在代码修复领域内进行经验学习，但许多问题解决的思路和方法可能在不同领域间具有相似性。如果能够实现跨领域的经验迁移，AI系统的学习效率将会得到大幅提升。
从产业应用角度看，经验学习的AI系统有望在软件开发工具链中发挥重要作用。未来的集成开发环境可能会内置这样的智能助手，不仅能够实时检测代码问题，还能基于项目历史和行业最佳实践提供个性化的修复建议。
这种技术还可能扩展到软件设计和架构层面。通过学习大量优秀软件项目的设计模式和架构选择，AI系统可能能够为新项目提供架构建议，帮助开发者做出更好的技术决策。
说到底，SWE-Exp系统代表了AI发展的一个重要里程碑：从被动的模式匹配转向主动的经验学习。这种转变让我们看到了通向真正智能系统的一条新路径。虽然目前还处于起步阶段，但这个方向的潜力是巨大的。
归根结底，经验学习可能是AI系统获得真正智慧的关键所在。当AI系统不再只是执行预设程序，而是能够从每次交互中学习和成长时，它们就真正开始了从工具向伙伴的转变。这不仅仅是技术的进步，更是我们对智能本质理解的深化。
未来的AI系统可能会更像经验丰富的顾问，不仅能够解决当前的问题，还能从每次解决方案中提取宝贵经验，为未来的挑战做好准备。这样的系统将真正成为人类智慧的延伸和放大器，帮助我们更好地应对日益复杂的技术挑战。有兴趣深入了解这项研究细节的读者，可以通过GitHub项目页面获取完整的代码实现和实验数据。
Q&A
Q1：SWE-Exp系统是如何从过往经验中学习的？
A：SWE-Exp通过构建"经验银行"来实现学习，系统会收集成功和失败的代码修复记录，然后提取出两类经验：理解经验（如何正确分析问题）和修改经验（如何安全地修改代码）。面对新问题时，系统会检索相关历史经验并应用到当前修复过程中。
Q2：为什么SWE-Exp使用双智能体架构而不是单一AI？
A：双智能体设计模拟了现实中专家团队的分工协作。指导者智能体负责制定修复策略和把控方向，助手智能体负责执行具体操作。这种分工避免了单一系统在处理复杂任务时容易出现的"顾此失彼"问题，让决策更专注、执行更精准。
Q3：SWE-Exp在实际应用中有什么限制？
A：主要限制包括：经验质量对性能影响很大，低质量经验可能产生负面影响；目前主要在Python代码库上验证，跨语言泛化能力有待验证；缺乏robust的经验适用性评估机制；使用过多经验反而会降低性能，需要精选高质量经验。
来源：至顶网
