摘要：这篇论文探讨了大型语言模型（LLM）在自主规划方面的有效性。虽然现有的研究表明可以使用外部反馈机制或受控环境中的LLM进行规划，但这些方法需要大量的计算和开发资源，并且最先进的LLM仍然无法与人类基准相媲美。因此，本文提出了算法思想（AoT+），通过对AoT进
这篇论文探讨了大型语言模型（LLM）在自主规划方面的有效性。虽然现有的研究表明可以使用外部反馈机制或受控环境中的LLM进行规划，但这些方法需要大量的计算和开发资源，并且最先进的LLM仍然无法与人类基准相媲美。因此，本文提出了算法思想（AoT+），通过对AoT进行改进，使LLM能够独立地生成与人类基准相当的长期规划方案。实验结果表明，AoT+比以前的方法和人类基准表现更好。
本文提出了一种新的算法-思维（Algorithm-of-Thoughts，AoT）提示技术，用于规划问题。该方法包括以下特点：
明确的搜索过程：AoT包含了更详细的解决问题步骤描述，包括探索多条路径。回溯示例：在上下文中演示回溯过程，教导LLM当到达死胡同时如何返回到之前的节点。专家指导：AoT提示包含类似人类直觉的策略来引导搜索过程。通过引入这些特性，AoT成功地解决了CoT在规划问题中的局限性，并在多个领域取得了显著进步，如游戏24、填字游戏和创意写作任务等。
然而，AoT也存在一些缺点：
复杂的提示创建：需要人工提供类似人类直觉的策略，这使得有效提示的创建变得耗时且具有挑战性。可能存在的偏见：包含人类策略可能无意中引入了偏见或限制了LLM发现新解决方案的能力。状态幻象：尽管AoT减少了无效解，但它仍难以准确维护整个推理过程中问题的状态。针对这些问题，我们提出了AoT+（Algorithm-of-Thoughts Plus），它在AoT的基础上进一步发展，以解决其弱点，特别是状态跟踪和启发式发现方面的挑战。
本文的主要目标是研究并提出一种新的提示技术，能够更好地利用LLM的潜在能力，同时解决规划问题的具体挑战。通过引入AoT+方法，我们在基准测试中取得了显著的性能提升，从而有效地解决了之前表现不佳的问题。
本文主要介绍了两个实验，分别是：
使用随机搜索轨迹代替人类直觉的实验：本实验旨在验证使用随机搜索轨迹是否会影响性能表现。作者利用一个新方法生成搜索轨迹，该方法结合了成功的和不成功的解决方案尝试，并通过确保最终成功步骤达到目标状态来引导模型朝着有效的解决方案前进。结果表明，这种方法可以有效地吸引模型参与主动搜索行为，而不会导致固定在特定解法模式上。此外，与预期相反的是，使用随机轨迹并没有显著增加方案长度和幻觉的概率，反而表现出令人惊讶的效果，使得我们的方法几乎等同于精心设计的方法，在所有基准测试中都取得了很好的效果。使用memoization避免幻觉的实验：本实验旨在验证使用memoization技术是否能够减少幻觉的发生。作者将memoization的概念应用于动态规划中的缓存机制，定期重述并缓存当前问题的状态，并使用标识符来表示不同的状态。结果表明，这种memoization方法可以有效地减少计算成本和API开销，并且不需要停止和重新启动生成过程以注入外部状态信息。此外，实验还发现，这种memoization方法可以帮助模型更轻松地访问和利用相关状态信息，从而减少了认知负担，使模型能够专注于计划过程本身，而不是努力维护准确的问题状态。总之，这两个实验的结果表明，本文提出的增强型prompt框架（AoT+）可以在各种任务中取得优异的表现，包括纯规划问题（如Blocksworld和Logistics）、归纳推理问题（如List Functions和ACRE）。此外，这些实验还展示了AoT+的效率和资源优化优势，以及其在大型语言模型中的潜在能力。
本文提出了一种名为AoT+的增强式提示技术，通过激活系统思考过程中的算法思维，显著提高了大型语言模型（LLMs）在规划任务中的自主规划和推理能力。该方法通过全面实验验证了其有效性，并与各种LLM架构进行了比较，结果表明其匹配或超过了现有最佳方法。此外，本文还提出了许多创新点，如定期结构化状态生成和随机轨迹增强等，这些创新使得模型能够更好地处理长序列信息并提高搜索效率。总体而言，本文为研究如何利用LLMs解决更复杂的认知任务提供了新的思路和方向。
本文提出的AoT+方法有以下几个创新点：
定期结构化状态生成：在搜索过程中，周期性地重新生成和重述当前问题状态，以减轻模型的认知负担。随机轨迹增强：引入随机搜索轨迹，其中包含正确的步骤，引导模型向目标状态前进。这种方法可以提高示例生成效率，而无需人工设计思维过程。这些创新点有助于提高模型的自主规划和推理能力，使其在挑战性的规划任务中表现更好。
未来展望随着AI技术的发展，研究人员将继续探索LLMs在更复杂认知任务中的潜力。基于本文的工作，未来的研究可以从以下几个方面展开：
深入理解LLMs的注意力机制：进一步探究模型为何倾向于关注文本开头和结尾的原因，以及如何优化这一特性来改善模型的表现。探索其他领域的问题：将AoT+方法应用于更多领域的规划任务，例如机器人控制、自然语言生成等，以评估其普适性和适用性。结合其他先进技术：结合强化学习、元学习等技术，开发更加智能、自适应的LLMs，以应对更具挑战性的任务。总之，本文提出的AoT+方法为深入研究LLMs在规划任务中的应用提供了新思路和方向，有望推动相关领域的发展。
来源：宁教授网络空间元宇宙