摘要：科大讯飞星火大模型应用平台负责人金豪发表了《讯飞星火 Agent 平台落地实践和思考》主题演讲。金豪介绍，Agent 应用趋势正在发生变化，正从 Prompt 助手、RAG 助手向解决复杂问题的 Agent 助手方向发展。与此同时，AI Agent 应用开发范

OSCHINA

11 月 30 日，第 108 期源创会在上海成功举办。

本期邀请来自科大讯飞、商汤科技、蚂蚁集团、微盟集团、BetterYeah AI、汇智智能的技术大咖、业内专家发表主题演讲。

接下来一起看看活动的精彩内容吧！

▲ 依旧是人气满满的现场

▲ 大家都在认真听讲、记录

▲ 美味披萨和精神食粮都不能少

▲ 一起点个赞

接下来进入主题演讲回顾环节️

讯飞星火 Agent 平台落地实践和思考

科大讯飞星火大模型应用平台负责人金豪发表了《讯飞星火 Agent 平台落地实践和思考》主题演讲。金豪介绍，Agent 应用趋势正在发生变化，正从 Prompt 助手、RAG 助手向解决复杂问题的 Agent 助手方向发展。与此同时，AI Agent 应用开发范式也在变化，从业务场景看，各类场景从简单对话生成到复杂任务规划执行，AI Agent 应用开发工具链和配套能力要求越来越高；从开发视角看，大模型应用开发正在迈向深水区；从应用架构视角出发，大模型应用系统正在走向复杂工程，大模型应用架构转型愈发依赖定制，从简单 API 接入走向业务场景化深度融合定制。

在这种趋势性的变化之下，围绕业务场景的任务规划、工具扩展及使用 All Tools 能力是关键。对于开发者来说，开发范式也在逐渐向 MoM 多模型组合、部分模型微调、Agent 效果深度微调、多类型 Agent 开发范式等方向变化。同时，大模型迭代也已经不再是简单的模型迭代，而是像搜索一样的大型系统工程。但是大模型应用方面，整体上还面临着开发模式选择困难、场景效果难以保障、成本高落地难等问题。

讯飞星火大模型从 2023 年 5 月份发布至今，2 年内实现 8 个大版本快速迭代，最新版本 V4.0 Turbo 将底座能力再次升级，成为多模态视觉交互与超拟人数字人交互的多语言大模型。基于模型底座，讯飞打造了星火大模型应用平台，帮助开发者与企业实现大模型应用开发深度。星火大模型应用平台可以帮助开发者无需关注应用架构，直接使用基于 MoM 大小模型组合的应用开发框架进行开发，并且通过一站式低代码可视化和全链路可定制、可优化的 LLM Workflow 平台实现快速开发符合业务场景的 Agent。

针对高阶 Agent 开发需求，充分利用 CoT 的思考和复杂问题理解能力，做场景可落地的 Agent。针对效果提升问题，从应用场景驱动的端到端大模型应用效果闭环系统，让开发者不懂大模型，也能轻松的搞定大模型应用效果问题。

LazyLLM 带你走进多 Agent 应用开发的奇幻之旅

商汤科技大装置事业群研发总监王志宏发表《LazyLLM 带你走进多 Agent 应用开发的奇幻之旅》主题演讲。王志宏介绍，当下 AI Agent 的应用范围广泛，几乎遍及各行各业，但是单一的 Agent 在面对一些复杂问题时会稍显无力，就需要多个 Agent 去配合，共同协作完成任务。

一个多 Agent 系统由多个相互作用的 AI-Agent 组成，引入多 Agent 可以通过各自的专长和优势，互补不足，提高系统的灵活性和效率，从而更好地应对各种挑战。当前市面上也有一些多 Agent 开发框架，但在实际使用中王志宏发现，这些框架可以应对一些简单的场景，依旧难以解决行业中的真实落地需求。于是，商汤决定开发一款自己的多 Agent 框架 ——LazyLLM。

LazyLLM 开发的初衷便是破解多 Agent 系统开发难题。对于初级开发者，LazyLLM 彻底简化了 AI 应用的构建过程，开发者无需再考虑如何将任务调度到不同的 IaaS 平台上，不必了解 API 服务的构建细节，也无需在微调模型时选择框架或切分模型，更不需要掌握任何 Web 开发知识，通过预置的组件和简单的拼接操作，便能轻松构建出具备生产价值的工具。对于资深的专家，LazyLLM 提供了极高的灵活性，为开发者提供了无限的可能性。其模块化设计支持高度的定制与扩展，使用户能够轻松集成自有算法、行业领先的生产工具以及最新的技术成果，从而快速构建适配多样化需求的强大应用。

LazyLLM 以数据流为核心的应用开发范式，支持 Pipeline、Parallel、Switch、If、Loop、Diverter、Warp、Graph 等数据流；可以为同一模块的不同技术选型提供一致的使用体验，如统一调用、统一服务、统一部署；针对 Agent 调用，LazyLLM 支持 FunctionCall、React、ReWOO、PlanAndSolve 等多种 Agent，并提供一致的使用体验。

此外，LazyLLM 还支持搭建 RAG 应用，以提高知识时效性、减少虚假信息、提升信息来源透明度、增强高效定制能力、保障数据安全。RAG 核心流程包含数据读取、数据分块、向量化、召回、重排和生成几个部分，LazyLLM 为每个组件进行了封装，提供开箱即用的 RAG 搭建工具。

agentUniverse 专业多智能体框架在严谨产业中的应用实践

蚂蚁集团 agentUniverse 多智能体框架架构师赵泽伟发表了《agentUniverse 专业多智能体框架在严谨产业中的应用实践》主题演讲。赵泽伟介绍，蚂蚁集团一直在做金融和泛金融相关的业务，金融产业对于智能体应用的专业性和严谨性要求非常高。

在严谨产业场景中，通用方案的实践效果便不如预期。严谨产业场景要求信息密集、知识密集、决策密集，因此严谨产业场景专用方案对多智能体和大模型都提出了更高的技术要求，如智能体需要实现 “预处理 + RAG + 自省 + 专家框架 + 职能分工” 的能力，而大模型也需要 “Alignment + 推理 + Tool-Calling” 的能力。

面向严谨产业中的复杂任务优化设计，agentUniverse 应运而生。agentUniverse 核心是提供了搭建单一智能体的全部关键组件、多智能体之间的协作机制、以及专家经验的注入机制，可以帮助开发者轻松构建具备专业 Knowhow 的智能应用，弥合大模型和实际业务应用中间的鸿沟。

架构设计方面，agentUniverse 底层适配了市面上常见的大模型和适配了大多数关系型数据库、ky 数据库向量数据库、搜索引擎作为知识库，并提供标准的外部 API 插件化接入模式遵循开发标准即可让大模型调用外部 API。底层之上，逐层集成或提供大量流行大模型领域开源组件、搭建 Agent 全部基础组件、Agent 构造器、Agent 池。最上层则是 Agent 协作模式工厂，提供对不同 agent 实例的选择、编排机制，可以链状、树状、环状、图状等方式，将智能体的执行过程进行编排；参与协同的智能体之间，可以根据需要有限 / 无限地共享上下文。并且 agentUniverse 支持单机部署、分布式集群部署、云部署等多种方式。

WAI 落地多 Agent 协作应用助力 B 端客户之路

微盟集团 AI 负责人裘皓萍发表了《WAI 落地多 Agent 协作应用助力 B 端客户之路》主题演讲。裘皓萍认为，站在应用产研的角度，AI Agent 实际上给出了一个价值评估的立足点。

在做 AI 应用过程中，裘皓萍和其团队发现，AI 应用的商业化定价出现了两个问题，一是如果使用成本定价，那么 token 当下已经不值钱了，而第二种定价方式是价值定价，其中存在价值难以评估的问题。比如，针对 AI 应用的抠图能力，假设一个员工每天使用抠图应用抠图 300 次，那么这 300 次的价值如何定义？裘皓萍认为，AI agent 可以给价值评估立足点。比如当公司把 Agent 当做一个员工时，便可以计算出这个 “员工” 的成本和每天的产出效益。

具体到产品设计上，微盟的多 Agent 协作平台为 WAI，采用一个主 Agent 和多个子 Agent 配合的模式。主 Agent 负责调度，根据用户需求调用不同子 Agent 进行具体任务，比如根据用户要求获取公众号配置或销售数据。面对复杂的任务和意图识别挑战，系统会通过主 Agent 的全局兜底机制来解决。而在实际应用中，多 Agent 的协同工作对于提升业务效率和用户体验至关重要。

企业级 Agent 应用落地与实践

BetterYeah AI CTO & 联合创始人黄种堃发表了《企业级 Agent 应用落地与实践》主题演讲。黄种堃指出，目前企业 Agent 应用主要有 4 大场景：知识库问答、数据清洗、业务流程 AI 化、营销内容生成 / 解析。但在实际应用过程中，企业 Agent 应用还存在不少技术难题需要解决，常见的包括：前期选型乐观，所选开源项目的 RAG 能力不足，导致后期需要消耗大量人力实践等资源补充 RAG 能力；整体方案设计缺陷，需要多次 LLM 节点交互，导致成本攀升；核心高频业务依赖单一模型，缺少自查逻辑带来的高错误率等问题。

通过总结过往与上百个家企业合作中的实战经验，黄种堃总结了 4 个阶段需要关注的不同落地难原因，首先立项阶段需重点关注场景选择、方案设计、POC 验证；构建开发阶段的避免重复工程、研发效率问题；收益反馈阶段的服务稳定、数据分析、收益可统计等问题；迭代阶段的工程化协同、迭代效率等问题。

针对现存的落地难点，BetterYeah AI 围绕企业 Agent 构建的完整生命周期做了一些关键技术实现：比如，在数据准备阶段，需要解决的主要问题包括数据的清洗、评估以及数据源的选择和扩展。企业可以为分段后的数据增加扩展字段，与原有的业务系统和关键数据库进行有效关联，实现高效混合检索。此外，企业在处理 RAG 问题时，可能会遇到非标准化文件解析、复杂格式文件解析等问题，解析效果不仅影响数据入库的准确性，也关系到后续的分段、检索效果，可以通过优化工程实践来改进检索过程的方法，比如针对用户提问中无法 RAG 命中的问题的做二次询问，以及混合检索、内容降噪等技术手段的运用。

当下，BetterYeah AI 在 Self-Planning，MutilAgent-Conference Room Mode 方面也在做一些技术尝试。比如，Self-Planning 模式下，用户给 Agent 一个具体任务，并且明确指出可以使用哪些工具、具体怎么调用，那么这个 Agent 便可以自行执行之后的任务，直到输出。而 Room 模式下的 Agent 系统特点在于不用特定的 Agent 来分发任务，而是同时响应并返回任务相关性以最短的路径路由来优化响应速度，不局限于平台内的框架，支持多种自定义 Agent，重点解决复杂 Agent 路由问题。

电商大模型 Agent 云平台实际应用链路

汇智智能产品运营副总史林锋发表了《电商大模型 Agent 云平台实际应用链路》主题演讲。史林锋指出，电商行业，普通电商者面临着如何独立运作小团队运作等问题，以及在店铺和商品准备充分的前提下，流量获取也是一大难题。因此，人员的配置与成本，运营成本与效果等至关重要。

考虑到成本与技术壁垒，汇智智能自研 AI 大模型，从模型训练到智能体应用，已实现技术可控与成本可控，并接入了多个主流模型。结构上，CarrotAI 大模型提供底层模型支持、私有大模型部署，数字生命技术具备超长期记忆、组织记忆共享传递能力，多智能体系统可以实现自动化流程、多终端人机协作，三者形成技术飞轮。

其中，多智能体系统 Agent 云为企业级 AI 数字员工解决方案与云服务平台，实现了数字员工随买随用，算力消耗按用量充值；支持小程序 / 网页 / APP 接入与开发服务；同时支持为用户定制打造自己的 Agent 云平台对外服务。

↓分享、在看与点赞~Orz

来源：凉柚老木