摘要：随着 DeepSeek 等高质量开源大模型的涌现，企业自建智能问答系统的成本已降低 90% 以上。基于 7B/13B 参数量的模型在常规 GPU 服务器上即可获得商业级响应效果，配合 Higress 开源 AI 网关的增强能力，开发者可快速构建具备实时联网搜索
随着 DeepSeek 等高质量开源大模型的涌现，企业自建智能问答系统的成本已降低 90% 以上。基于 7B/13B 参数量的模型在常规 GPU 服务器上即可获得商业级响应效果，配合 Higress 开源 AI 网关的增强能力，开发者可快速构建具备实时联网搜索能力的智能问答系统。
Higress 作为云原生 API 网关，通过 wasm 插件提供开箱即用的 AI 增强能力：
主要能力矩阵：
Higress AI 搜索增强插件代码已经开源，可以点击下方链接查看插件文档和代码。
核心架构解析
关键技术特性
1. 多引擎智能分流
公共搜索（Google/bing/Quark）获取实时资讯学术搜索（Arxiv）对接科研场景私有搜索（Elasticsearch）连接企业/个人知识库2. 搜索增强核心思路
LLM 重写 Query：基于 LLM 识别用户意图，生成搜索命令，可以大幅提升搜索增强效果关键词提炼：针对不同的引擎，需要生成不同的提示词，例如 Arxiv 里英文论文居多，关键词需要用英文领域识别：仍以 Arxiv 举例，Arxiv 划分了计算机科学/物理学/数学/生物学等等不同学科下的细分领域，指定领域进行搜索，可以提升搜索准确度长查询拆分：长查询可以拆分为多个短查询，提高搜索效率高质量数据：Google/Bing/Arxiv 搜索都只能输出文章摘要，而基于阿里云信息检索对接 Quark 搜索，可以获取全文，可以提高 LLM 生成内容的质量典型应用场景效果展示
金融资讯问答
前沿技术探索
医疗问题解答
1. 基础部署
# 一行命令安装并启动Higress网关curl -sS https://higress.cn/ai-gateway/install.sh | bash# 用vllm部署DeepSeek-R1-Distill-Qwen-7B示意python3 -m vllm.entrypoints.openai.api_server --model=deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --dtype=half --tensor-parallel-size=4 --enforce-eager2. 插件配置
可以通过 访问 higress 控制台，给 ai-search 插件做如下配置。
plugins:searchFrom:- type: quark apiKey: "your-aliyun-ak" keySecret: "your-aliyun-sk" serviceName: "aliyun-svc.dns" servicePort: 443- type: google apiKey: "your-google-api-key" cx: "search-engine-id" serviceName: "google-svc.dns" servicePort: 443- type: bing apiKey: "bing-key" serviceName: "bing-svc.dns" servicePort: 443- type: arxiv serviceName: "arxiv-svc.dns" servicePort: 443searchRewrite: llmServiceName: "llm-svc.dns" llmServicePort: 443 llmApiKey: "your-llm-api-key" llmUrl: "https://api.example.com/v1/chat/completions" llmModelName: "deepseek-chat" timeoutMillisecond: 150003. 对接 SDK 或前端
import jsonfrom openai import OpenAIclient = OpenAI( api_key="none", base_url="http://localhost:8080/v1",)completion = client.chat.completions.create( model="deepseek-r1", messages=[ {"role": "user", "content": "分析一下国际金价走势"} ], stream=False)print(completion.choices[0].message.content)通过 Higress+DeepSeek 的开源组合，企业可在 24 小时内完成从零到生产级的智能问答系统部署，使 LLM 真正成为业务增长的智能引擎。
来源：阿里云云原生
免责声明：本站系转载，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与本站联系，我们将在第一时间删除内容!