【分享】BotSharp 4.0 Sidecar：迈向更大规模化的AI Agent平台框架

摘要：BotSharp 是一个功能强大的开源项目，由 SciSharp[社区开发和维护，旨在实现.NET技术栈下高度可定制的多智能体解决方案。为开发高效的对话式 AI 系统提供了极大的灵活性。通过其模块化的设计和多模型的支持，它更适合需要定制化需求的大型企业或组织。

BotSharp 是一个功能强大的开源项目，由 SciSharp[社区开发和维护，旨在实现.NET技术栈下高度可定制的多智能体解决方案。为开发高效的对话式 AI 系统提供了极大的灵活性。通过其模块化的设计和多模型的支持，它更适合需要定制化需求的大型企业或组织。

随着生成式人工智能领域的快速发展，开源社区的贡献成为了推动技术前行的重要力量。而作为开源AI Agent开发的代表项目之一，BotSharp 在其最新版本 4.0 Sidecar 的发布中，再次展示了其技术深度与创新能力。此次更新带来了诸多亮点，使得开发人员能够更高效地构建、部署和管理AI应用程序。

核心更新：Sidecar 架构的引入

在 BotSharp 4.0 版本中，最显著的改进之一来自于创新的“Sidecar”架构。这种设计灵感来自于现代微服务架构中的“Sidecar 模式”，其核心思想是将辅助功能与核心服务解耦，从而增强系统的扩展性与灵活性。

在这一架构中，BotSharp 的核心功能模块被划分和独立，通过轻量化的 Sidecar 辅助服务运行。这种设计为开发人员提供了以下优势：

● 模块化开发：开发者可针对单个模块进行迭代和改进，而不会影响其他系统组件。

● 更高的可扩展性：即使面对复杂且多样化的AI模型需求，Sidecar 也能灵活适配。

● 稳定性提升：各个服务具备独立运行的能力，使得系统更加容错。

这一架构的改变，直击开发人员在AI Agent整合与部署中的核心痛点，为人工智能的应用落地提供了更为高效的解决方案。在BotSharp的初步使用阶段，用户无需关注Sidecar的用途，仅当深入应用并达到高级复杂阶段时，才需要考虑其使用。Sidecar是一个类似于容器（container）或软件包（package）的抽象概念。想象一下，如果你要为一个大公司开发一个复杂的应用，该应用涉及多个部门，每个部门由N个Task Agent和一个Router组成一个Agent Cluster。Sidecar可以将这些Cluster打包成一个对外提供服务的工具Utility。其它Agent可以像使用工具一样使用这个Agent Cluster。从技术层面来说，Sidecar设计模式可以支持多个Agent同时在一个进程内运行并相互调用，而无需在物理上部署成Agent Cluster，从而在一个进程内实现这种效果。这个技术的实现为后续的Evaluation模拟器提供框架基础，让开发像现实世界人物、社区模拟的应用更加方便，应用层面可以简单地堆叠智能体，就可以实现越来越复杂的应用，避免Agent数量和工具的增多导致应用的不稳定性指数增加的问题。

BotSharp的主要特性

BotSharp提供了一系列强大的功能,使其成为构建AI对话系统的理想选择:内置多代理和对话状态管理支持多种LLM规划方法来处理不同任务内置RAG相关接口,基于内存的向量搜索支持多个AI平台(ChatGPT 3.5/4.0, PaLM 2, LLaMA 2, HuggingFace)允许多个具有不同职责的代理协作完成复杂任务在一个地方构建、测试、评估和审核您的LLM代理内置使用SvelteKit编写的BotSharp UI抽象标准的富内容数据结构,集成流行的消息渠道如Facebook Messenger、Slack和Telegram提供RESTful Open API和WebSocket实时通信这些特性使BotSharp成为一个全面而灵活的框架,能够满足各种AI对话系统开发需求。

BotSharp的核心模块

BotSharp的核心模块主要由抽象和框架功能实现组成,结合了一些常用工具:

插件加载器钩子机制认证代理配置文件对话和状态管理路由和规划模板文件仓库缓存富内容LLM提供者

这些核心模块为BotSharp提供了坚实的基础,使其能够灵活应对各种复杂的对话场景。

BotSharp的插件系统

BotSharp采用组件设计,将内核保持在最小限度,业务功能由外部组件实现。这种模块化设计也允许贡献者更好地参与。BotSharp提供了多种内置插件,涵盖了数据存储、LLM、消息传递/渠道、RAG、视觉处理、工具和UI等多个方面。

这种插件系统使得BotSharp具有极高的可扩展性和灵活性。开发者可以根据自己的需求选择合适的插件,或者开发自己的插件来扩展BotSharp的功能。

快速开始使用BotSharp

要开始使用BotSharp,您只需要几个简单的步骤:

克隆BotSharp仓库并运行后端服务:

git clone https://github.com/dotnetcore/BotSharpcd BotSharpdotnet run --project ./src/WebStarter/WebStarter.csproj -p SolutionName=BotSharp

克隆并运行BotSharp UI项目:

git clone https://github.com/SciSharp/BotSharp-UIcd BotSharp-UInpm installnpm run dev

完成这些步骤后,您就可以通过访问 http://localhost:5015/ 来使用BotSharp了。

开源的力量：开发社区的崛起

作为一个开源项目，BotSharp 的成长离不开全球开发者社区的支持，这一版本由Jicheng Lu, Joanna Ren, Stephen Toub(Microsoft)以及其他13位贡献者共同参与开发。4.0版本的发布展示了社区的智慧结晶，不仅修复了大量bug，如向量数据库、路由上下文、状态查询参数，路由推理器和任务规划器独立等问题，同时还融合了许多创新性的功能建议。这种开放协作的精神，是推动开源AI Agent不断演进的重要动力。

● 用户和角色管理：新增了用户管理功能和角色管理功能，提升了系统的安全性和灵活性。

● 知识生成细化：新增了知识生成细化功能，旨在改进和优化知识生成的流程，以提高其精确性和效率。

● 多规划器支持：新增了多规划器支持功能，重构了推理器和规划器、合并了原始代理、引入了ConversationHookProvider等。

● WebDriver增强：增强了WebDriver的功能，使其能够通过直接与浏览器的底层接口进行交互，实现对浏览器的精确控制。

BotSharp的应用前景

作为一个功能强大、灵活性高的AI代理应用框架,BotSharp在多个领域都有广阔的应用前景:

客户服务: 企业可以使用BotSharp构建智能客服系统,提供24/7的客户支持。

教育: 开发个性化的学习助手,帮助学生解答问题、制定学习计划。

医疗健康: 创建健康咨询机器人,为用户提供初步的健康建议和信息。

金融服务: 开发智能金融顾问,为客户提供个性化的理财建议。

电子商务: 构建智能购物助手,帮助用户找到最适合的产品。

智能家居: 开发智能家居控制系统,通过对话方式控制家中设备。