摘要：东吴证券在数字化转型浪潮中积极探索“智算平台”的应用和落地，采用多种机器学习、大数据及智能网络管理技术，智能选取SGLang和vLLM等模型推理框架及算力调度，为证券业务ToC和ToB领域的创新发展提供了强大支撑，推动了金融服务的智能化升级。在提升业务效率、优

文/东吴证券股份有限公司首席信息官 华仁杰

东吴证券股份有限公司信息技术总部副总经理 任川

东吴证券股份有限公司人工智能技术中心 王锋 臧延秋 徐李豪

东吴证券在数字化转型浪潮中积极探索“智算平台”的应用和落地，采用多种机器学习、大数据及智能网络管理技术，智能选取SGLang和vLLM等模型推理框架及算力调度，为证券业务ToC和ToB领域的创新发展提供了强大支撑，推动了金融服务的智能化升级。在提升业务效率、优化客户体验及加强风险管控等方面都取得了显著成效，也为金融行业的智能算力应用提供了有益的参考和借鉴。

首先需要对多源异构算力进行统一纳管及性能测试，构建东吴大模型矩阵。东吴证券近年来年度平均算力投入上千万元，通过采购、租赁、测试等形式储备了大量算力资源，包括H800、RTX4090等算力资源，并且测试验证了华为昇腾等信创算力。我们对国内外多类算力进行性能实测，并以此为基础构建东吴大模型矩阵，包括接入了DeepSeek全尺寸版、阿里Qwen系列、自研秀财大模型、同花顺多模态大模型、安全大模型、Embedding模型等，构建训推一体的算力集群。其中DeepSeek全尺寸版模型需要不低于16张H800显卡，Qwen2 7B模型需要RTX4090同等算力显卡，公司自研秀财大模型也在昇腾上完成信创显卡推理的适配。此外，为减少各类算力资源的迁移适配、运行维护成本，信创算力也需兼容CUDA或MindSpore生态，且具有单卡不低于RTX4090水平的推理算力。建立异构算力资源池，选用符合信创标准或通用协议的硬件设备，实现算力的统一纳管，成为阶段性的工作重点。

在技术侧，一是应用多种GPU虚拟化技术，如NVIDIA的MIG技术，通过硬件虚拟化的方式，实现多任务并行，同时保证每个虚拟GPU的性能和稳定性。MIG技术在NVIDIA A100和H800等高端GPU上引入，可将一个GPU芯片虚拟出7个实例，提供给不同的虚拟机或容器使用，并为每个实例分配指定的GPU算力和显存，实现了硬件级别的故障隔离，避免了因1个任务故障导致整个算力资源不可用的情况。

二是采用一系列深度学习及大数据技术，实现算力的无损调度。比如采用深度强化学习的AI调度算法，能够根据业务负载、任务优先级、资源利用率等多维度因素，实时对算力资源进行动态调度。例如，通过对历史业务数据的分析和学习，预测业务高峰期和低谷期的算力需求，提前进行资源的预分配和调整，确保在高负载场景下也能满足业务的响应要求。

三是构建高速、低延迟的网络基础设施，优化系统网络环境。采用万兆网络进行高速传输，提高AI算力之间的通信效率及可靠性。同时，对网络流量进行合理的规划和管理，避免网络拥塞导致算力调度延迟。

在模型训练侧，智能算力调度还是优化大模型训练效率与节约算力成本的关键。东吴证券在2023年使用40台H800训练13B与108B的秀财大模型，2024年通过先进的算力调度策略，结合模型压缩与蒸馏技术，仅需10台H800就高效完成了35B大模型的训练任务。这不仅显著降低了硬件投入，更在更高参数规模的模型上实现了迭代优化。同时，高效的算力调度也为金融语料清洗与合成等工作节约了时间，支撑了垂类大模型性能的持续提升。体现了算力调度在最大化硬件效能、控制成本、加速模型研发周期等方面的价值。

随着以DeepSeek R1为代表的推理模型和GPT-4o为代表的多模态模型能力的不断进步，金融机构未来的重心转向垂域大模型微调和模型推理加速。这意味着金融机构将更加注重如何结合业务的实际场景，高效利用现有的先进模型进行推理，以满足实际业务需求。如何高效进行算力调度、优化模型推理能力将直接影响金融机构在数据分析、风险评估、客户服务等领域的效率和准确性，从而影响整体运营效能。

在业务侧，结合证券业务的实际场景，实现高负载场景下的资源动态分配。一是根据东吴证券各项业务的重要性和紧急程度，对业务进行优先级的动态划分。在高负载场景下，优先保障高价值业务如智能投顾、智能营销、智能客服、风险控制的算力需求，确保关键业务的稳定运行，同时兼顾实时性要求不高的ToB业务如报告审核、尽职调查报告生成、数据统计等，确保高价值场景落地的优先性。

二是建立资源的弹性伸缩机制，根据业务负载的实时变化，自动增加或减少算力资源的分配。例如，当投顾业务在市场波动或者开盘前后出现负载急剧上升的情况，系统会自动检测并迅速分配更多的GPU算力资源给到AI投顾系统，满足高并发请求。当负载下降时，又会自动释放多余资源，避免算力浪费。

三是引入先进的容器集群管理系统，智能化管理协调AI服务。比如引入Kubernetes等容器编排系统，对容器化后的应用进行统一管理。该平台可以自动发现和管理不同架构的算力资源所支撑的容器环境，根据实际应用需求灵活进行应用的部署、扩展及资源的适配调度，实现AI资源的合理利用和高效运营。

四是根据不同业务的算力诉求，智能选取不同的大模型推理框架。我们把DeepSeek R1-671B分别部署在不同的H800设备，对vLLM和SGLang框架的吞吐效果进行对比测试。调度软件实时监控算力资源的并发请求数，在默认情况下将请求平均分配给vLLM和SGLang。一旦检测到并发增大，立即将SGLang的并发请求数限制在32个以内，其余流量均分配给vLLM。当负载量过大时，比如超过了并发处理能力极限，调度软件会拉起新的vLLM实例，用于承载新的流量。

如表中数据显示，vLLM在满载吞吐量、首字响应时间和并发处理能力等方面均优于SGLang，表明在高并发场景下vLLM有更好的性能表现，能够更高效地处理大规模的自然语言处理任务，但是小并发场景下的表现不如SGLang，这为东吴证券的推理框架选型提供了参照。

表 vLLM和SGLang框架下的吞吐能力对比

东吴证券还根据不同业务场景的特点和算力需求，制定了算力资源的动态分配策略。例如，在智能报告生成场景中，当模型需要对一个任务进行快速的数据分析和图表渲染时，系统会根据任务的复杂程度和紧急程度，优先分配给SGLang，满足研究人员对高性能计算的需求；而在大规模对客服务的智能客服场景中，自动调整CPU、GPU和内存资源的分配，在保证单任务响应速度的前提下适当多分配给vLLM。

一是智能投顾业务。金融市场信息日益庞杂，投资者在筛选与自身投资相关信息时困难重重，如何快速洞察市场机会已成为迫切需求。东吴证券依托智能算力打造“东吴之声”投顾服务产品，助力投顾展业转型，升级存量用户服务体验，同时有效吸引增量用户。调度自有算力实现市场情绪量化分析，建立起30～70度风险区间预警机制；调度DeepSeek等模型挖掘关联数据，自动化扫描投资框架，每周生成潜在投资线索超200条；调度AI算力，建立AI归因模型，从财务数据、政策利好、行业趋势、研报动向、投资者互动五大方向，实现涨停事件全面解析。

近年来，东吴证券利用智能算力基座支撑AI应用，提供市场温度计、赢波段、诊财务、说涨停、盈组合、盘中宝、避雷针、智百科等20余项AI投顾组件，为投顾、个人投资者提供及时准确的投资分析与决策支持。

二是智能客服业务。客户经理需要处理大量的客户咨询请求，对客户问题的响应速度和并发处理能力要求很高。为了帮助客户经理高效生成话术初稿，东吴证券为智能客服系统分配了充足的GPU和内存资源，并采用了分布式架构和负载均衡技术，确保系统的稳定运行和高效响应。同时，根据不同时段的客户咨询量和业务复杂度，动态调整算力的分配比例。例如，在交易日的早上和中午等客户咨询高峰期，增加算力资源分配，动态利用公有云端SaaS服务，提高系统的并发处理能力；在非交易时段，适当减少资源分配，节约成本。

智能客服系统利用大模型的语义识别能力和自然语言处理技术，实现了对客户意图的精准识别、智能调度和及时解答。通过对大量历史客户咨询数据的学习和分析，不断优化问答模型，提高问题解答的准确性和客户满意度。目前，智能客服系统日均处理客户1万条实时问询，问答准确率达到96%以上，能够一键智能回复开户引导、持仓诊断、产品咨询、业务办理、操作指导等20多个业务领域近3万个客户问题，在600名投顾中实现80%覆盖率，极大提高了客户服务效率和质量。

三是智能投资业务。该业务对算力资源的需求主要集中在数据智能获取、清洗及预处理、组合构建和模型优化等方面。东吴证券为智能投资业务分配了专用的GPU算力服务器集群，并根据投研团队的研究项目和任务进度，动态调整GPU资源的分配数量和类型。例如，研发AI量化投资组合，会优先分配高性能的算力用于海量历史数据回测和模型的训练优化，保证结果的准确性；对于其中涉及的宏观经济分析和行业研究，则会分配适量的算力资源用于研报数据的挖掘和文本分析。

通过智能算力资源的弹性调取，东吴证券的智能投资系统能够快速处理海量的金融市场数据，包括股票、债券、期货等多种资产类别的市场行情数据、基本面数据、技术面数据、新闻舆情数据等。利用K-MEANS聚类算法、XGBoost、SVM等深度学习算法和自然语言处理技术，对数据进行深入分析和挖掘，为投研人员提供有价值的投资信息和决策支持。例如，通过对公司公告数据实时监测和技术指标分析，及时发现市场热点和潜在投资标的，为投资组合的调整提供依据，组合在模拟盘上近8个月累计收益33.32%，对比沪深300指数，超额收益40多个点。同时，智能投资系统还能自动构建和优化投资模型，提高策略的准确性和有效性，提升投资收益水平。

四是智能报告业务。在证券行业业务中涉及大量报告，包括行业分析报告、企业背调报告、研究所各板块日报/周报、营业部发展情况报告、合规性报告等。传统人工撰写1份报告需要数小时，探索并实施更高效、智能的报告制作方案是提高工作质效、赋能业务发展的有效举措。

东吴证券采用智能算力调度和MCP协议打造智能报告平台。首先智能识别用户的撰写意图，快速生成报告大纲。然后根据不同段落拆分为多项MCP服务，该服务会根据内容的复杂度和所需模型动态分配合适的算力资源，比如大批量行业数据对比采用千问3-235B，总结话术生成采用千问2.5-72B，实现复杂任务的高效分配和协同。基于公司算力支撑，构建企业内私域MCP Server广场，把100余个公司模板封装为特定的Agent组件，统一数据集成，高效处理不同的业务场景。同时采用SM算法加强安全性设计，限制敏感数据访问，为平台提供安全可靠的数据支撑。

通过智能算力调度的支持，报告生成时间由原先人工撰写的4小时缩短至最快10秒，极大地缩短了报告制作时间。当前，智能文档的撰写功能已经成为金融机构的AI赋能重点。

通过对比“智算平台”应用前后的各项业务指标，如投资组合收益、客户满意度、客户响应速度、风险控制水平等，可直观感知到智能算力投入带来的价值提升。例如，智能客服业务的应用使客户问题的响应速度达到最快1s，实现80%以上的投顾赋能，机构尽调报告的生成效率提升了99%等。

未来，随着人工智能技术的不断发展和数据资源的深入挖掘，ToC端的智能化辅助客户投资决策将成为证券行业的重要发展趋势。东吴证券将继续加大在智能算力方面的投入，构建更加精准、高效的投资决策模型，实现投资组合的智能化构建和动态优化。通过深度挖掘市场数据和另类数据中的投资信息，结合投资者的风险偏好和投资目标，提供千人千面的投资方案和建议，提高投资决策的精准性和客户满意度。

在数字化时代，客户对金融服务的便捷性、个性化和智能化要求越来越高。东吴证券将借助智算资源，进一步提升数字化客户服务体验。通过智能客服、智能投顾等应用，实现客户服务的自动化、智能化和个性化。同时，利用虚拟现实、增强现实、数字人等新兴技术，为客户打造沉浸式的金融产品体验场景，增强客户与公司之间的互动和黏性，提升客户参与感和体验感。

智算资源的应用将为东吴证券ToB端的金融创新业务拓展提供有力支持。例如，在金融衍生品定价、结构化产品设计、智能报告审核和生成等领域，需要复杂的数学模型和强大的算力支持。东吴证券可以利用智能算力进行创新业务的研发和探索，开发出更加多样化、个性化的金融产品和服务，满足客户日益增长的多元化投资需求，提升公司在机构服务领域的竞争力。

综上所述，东吴证券在智能算力场景的应用落地方面取得了显著的成果，为公司的业务发展和创新提供了有力支撑。未来，随着技术的不断进步和业务的持续拓展，东吴证券将继续深化智能算力的应用，探索更多的业务场景和应用模式，打造证券业务智能化转型的标杆。

来源：金融电子化