摘要：参数量：1B（10 亿），是当前支持多国语言且可 CPU 运行的最小模型。语言支持：开箱即用支持 35 + 语言，预训练覆盖 140 + 语言，含中文、法语、德语、西班牙语等，能满足全球多数地区使用需求。CPU 运行可行性：官方提供 4bit/8bit 量化版
编辑
参数量：1B（10 亿），是当前支持多国语言且可 CPU 运行的最小模型。语言支持：开箱即用支持 35 + 语言，预训练覆盖 140 + 语言，含中文、法语、德语、西班牙语等，能满足全球多数地区使用需求。CPU 运行可行性：官方提供 4bit/8bit 量化版本，大幅降低内存占用，普通 PC 的 CPU（如 i5/i7）配合 16GB 及以上内存即可运行，无需显卡。核心优势：基于 Gemini 2.0 技术构建，轻量化设计优先适配端侧，推理响应快，还支持结构化输出，适合简单对话、多语言翻译等基础任务。LFM2-3.5B（Liquid AI）参数量：3.5B，仅比最小模型略大，CPU 运行内存需求约 12-16GB。语言支持：覆盖英语、中文、阿拉伯语、日语等 8 种主流语言，适配多地区场景。优势：解码速度是同尺寸模型的 2 倍，适合边缘设备（如笔记本）的多语言交互任务。Linly-ChatFlow-int4（伶荔）参数量：7B（4bit 量化后），CPU 端内存占用可压缩至 8-12GB。语言支持：主打中文，同时兼容英语、韩语等常用语言，适合以中文为主、需少量多语言交互的场景。优势：提供现成的 CPU 量化推理框架，部署无需复杂配置，新手友好。你的需求（CPU 运行、支持 PDF 与 API 模式、多国语言），Gemma 3-1B 是最优选择，以下是具体方案，含 PDF 处理适配和 API 部署细节：
基础参数模型大小：仅 529MB（原始版），GGUF 量化后（Q8_0）约 1.07GB，CPU 端 16GB 内存即可流畅运行，无需显卡。语言支持：原生覆盖 35 + 常用语言（中、英、法、德、日、韩等），预训练数据含 140 + 语言，可处理全球多语言 PDF 文档。关键能力：支持 32K tokens 输入（能处理单页长 PDF），通过 API 调用可批量处理文档，配合工具链实现 PDF 文本提取 + 翻译 / 问答。PDF 处理适配方案需搭配「PDF 文本提取工具」+「Gemma 3-1B API」实现完整流程，无需额外大模型：步骤 1：用轻量工具（如 PyPDF2 或 pdfplumber）提取 PDF 文本，CPU 端瞬时完成，无性能压力。步骤 2：将提取的文本通过 Gemma 3-1B API 发送请求，指定语言（如 “将以下英文 PDF 文本翻译成中文”），模型返回结构化结果。优势：全程本地运行，无数据泄露风险，单页 PDF 处理耗时＜3 秒（CPU：i7-1265U）。Ollama 是轻量框架，自动处理模型量化和依赖，支持 API 调用，适合快速搭建服务：
安装 Ollama Windows/Mac：官网下载安装包（https://ollama.com/），Mac 需 macOS Monterey 及以上，Windows 需 Win10+。 命令行验证：输入 ollama --version，显示版本即成功。拉取 Gemma 3-1B 模型终端执行：ollama pull gemma3:1b，自动下载量化版（约 1.07GB），全程无需手动配置。启动 API 服务执行命令：ollama serve，默认开启本地 API 端口（http://localhost:11434），支持 JSON 格式请求。调用 API 处理 PDF 文本（示例）用 Python 发送 POST 请求，实现 “PDF 文本翻译”：pythonimport requests import json from pdfplumber import open # 需先安装：pip install pdfplumber # 1. 提取PDF文本（以第1页为例） with open("test.pdf") as f: page = f.pages[0] pdf_text = page.extract_text # 2. 调用Gemma 3-1B API翻译 url = "http://localhost:11434/api/generate" data = { "model": "gemma3:1b", "prompt": f"将以下PDF文本翻译成中文，保持格式清晰：\n{pdf_text}", "stream": False # 关闭流式输出，直接获取完整结果 } response = requests.post(url, json=data) result = json.loads(response.text)["response"] print("翻译结果：", result)适合需要调整 API 参数（如 token 长度、温度）的场景，需基础 Python 能力：
安装依赖终端执行：pip install transformers accelerate torch flask pdfplumber，CPU 端依赖仅占约 500MB。编写 API 服务代码（Flask）创建 gemma_api.py，实现 “PDF 文本输入→模型处理→结果返回”：pythonfrom flask import Flask, request, jsonify from transformers import AutoTokenizer, AutoModelForCausalLM import pdfplumber app = Flask(__name__) # 加载Gemma 3-1B（量化版，CPU优化） tokenizer = AutoTokenizer.from_pretrained("google/gemma-3-1b-it") model = AutoModelForCausalLM.from_pretrained( "google/gemma-3-1b-it", device_map="cpu", # 强制使用CPU load_in_8bit=True # 8位量化，减少内存占用 ) @app.route("/pdf_process", methods=["POST"]) def pdf_process: # 接收PDF文件或文本 data = request.json pdf_path = data.get("pdf_path") # 1. 提取PDF文本 with pdfplumber.open(pdf_path) as f: pdf_text = "\n".join([p.extract_text for p in f.pages]) # 2. 模型处理（示例：多语言问答） prompt = data.get("prompt", f"回答以下PDF中的问题：{data.get('question')}\nPDF内容：{pdf_text}") inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=32768) outputs = model.generate(**inputs, max_new_tokens=1024) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return jsonify({"result": result}) if __name__ == "__main__": app.run(host="0.0.0.0", port=5000) # 局域网可访问启动服务与调用 启动：python gemma_api.py，服务运行在 http://localhost:5000。 调用：通过 Postman 或 Python 发送请求，指定pdf_path（本地路径）和question（如 “总结 PDF 第 3 章内容”），即可获取结果。优势轻量：模型 + 依赖总占用＜3GB，普通笔记本 CPU（如 i5-1135G7）可运行。灵活：API 支持批量处理（一次传入多页 PDF 文本），可集成到办公自动化流程（如 Excel+Python 批量处理 PDF）。多语言：支持 “PDF 原文→目标语言” 直接转换，无需中间语言（如英→中，无需先转成英文）。注意事项长 PDF 处理：若 PDF 超过 32K tokens（约 2.4 万字），需拆分文本（按章节 / 页码），避免截断。性能优化：CPU 端可开启 “量化加速”（如 Ollama 默认 Q8_0 量化），或用torch.compile优化推理速度（需 PyTorch 2.0+）。需要我帮你整理 “Ollama+Gemma 3-1B” 的完整操作手册 吗？包括 PDF 提取工具的安装、API 调用示例（含 Postman 请求模板），确保你能直接落地使用
Ollama+Gemma 3-1B 完整操作手册（支持 PDF 处理 + API 调用）本手册覆盖从环境搭建到 PDF 处理、API 调用的全流程，确保你在 CPU 环境下也能高效运行，无需依赖网络。
支持系统：Windows 10+/Mac（macOS Monterey+）/Linux下载路径：官网直接下载（https://ollama.com/download），Windows 双击OllamaSetup.exe，Mac 可通过brew install ollama命令安装验证安装：打开终端，输入ollama -v，显示版本号（如ollama version 0.1.48）即成功适用于 Windows 用户，默认路径为C:\Users\你的用户名\.ollama\models，若需修改：
新建目标文件夹（如D:\Ollama\Models），将默认models文件夹下的blobs和manifests剪切至新文件夹右键 “此电脑”→“属性”→“高级系统设置”→“环境变量”，新建OLLAMA_MODELS变量，值设为新路径（如D:\Ollama\Models）重启终端或电脑，使设置生效推荐轻量工具pdfplumber，终端执行以下命令安装：
bash
pip install pdfplumber # 支持精准提取PDF文本，保留格式创建pdf_extract.py文件，用于提取 PDF 内容（以单页 / 多页提取为例）：
python
import pdfplumberdef extract_pdf_text(pdf_path, start_page=1, end_page=None):"""提取PDF文本:param pdf_path: PDF文件本地路径（如"D:/test.pdf"）:param start_page: 起始页码（默认1）:param end_page: 结束页码（默认全部）:return: 提取的文本内容"""text = ""with pdfplumber.open(pdf_path) as pdf:# 确定提取页码范围pages = pdf.pages[start_page-1:end_page] if end_page else pdf.pagesfor page in pages:# 提取当前页文本，合并换行符page_text = page.extract_textif page_text:text += f"【第{page.page_number}页】\n{page_text}\n\n"return text# 测试：提取D盘test.pdf的1-3页文本if __name__ == "__main__":pdf_text = extract_pdf_text("D:/test.pdf", start_page=1, end_page=3)print("提取的PDF文本：")print(pdf_text)创建pdf_ai_process.py，将提取的文本通过 Ollama API 发送给模型（支持翻译、总结等需求）：
python
import requestsimport jsonfrom pdf_extract import extract_pdf_text # 导入上述提取脚本def gemma_process_pdf(pdf_path, prompt_template):"""用Gemma 3-1B处理PDF文本:param pdf_path: PDF本地路径:param prompt_template: 任务提示（如翻译、总结）:return: 模型处理结果"""# 1. 提取PDF文本pdf_text = extract_pdf_text(pdf_path)if not pdf_text:return "未从PDF中提取到文本"# 2. 构造请求参数（调用Ollama本地API）url = "http://localhost:11434/api/generate"data = {"model": "gemma3:1b", # 模型名需与本地运行的一致"prompt": f"{prompt_template}\n\nPDF文本内容：{pdf_text}","stream": False # 关闭流式输出，直接获取完整结果}# 3. 发送请求并获取结果try:response = requests.post(url, json=data, timeout=30)response.raise_for_status # 抛出HTTP错误result = json.loads(response.text)["response"]return resultexcept Exception as e:return f"处理失败：{str(e)}"# 测试：将PDF文本翻译成中文if __name__ == "__main__":result = gemma_process_pdf(pdf_path="D:/test.pdf",prompt_template="请将以下PDF文本翻译成中文，保持原文格式和段落结构，专业术语翻译准确")print("模型处理结果：")print(result)终端输入以下命令，启动本地 API 服务（默认端口 11434）：
bash
ollama serve # 启动后终端显示"server listening on 127.0.0.1:11434"即正常json
{"model": "gemma3:1b","prompt": "总结以下文本：[此处替换为PDF提取的文本或其他内容]","stream": false,"options": {"temperature": 0.7 # 控制生成内容的随机性，0.7为适中值}}创建batch_api_call.py，实现多文件批量处理：
python
import requestsimport jsonimport osfrom pdf_extract import extract_pdf_textdef batch_process_pdfs(pdf_folder, output_folder, prompt_template):"""批量处理文件夹下的PDF:param pdf_folder: PDF文件夹路径（如"D:/PDFs"）:param output_folder: 结果输出文件夹（如"D:/Results"）:param prompt_template: 任务提示"""# 创建输出文件夹（不存在则新建）os.makedirs(output_folder, exist_ok=True)# 遍历PDF文件夹for filename in os.listdir(pdf_folder):if filename.endswith(".pdf"):pdf_path = os.path.join(pdf_folder, filename)output_path = os.path.join(output_folder, f"{os.path.splitext(filename)[0]}_result.txt")# 处理PDF并获取结果result = gemma_process_pdf(pdf_path, prompt_template)# 保存结果到文本文件with open(output_path, "w", encoding="utf-8") as f:f.write(f"PDF路径：{pdf_path}\n\n处理结果：\n{result}")print(f"已处理：{filename}，结果保存至：{output_path}")# 调用批量处理函数if __name__ == "__main__":batch_process_pdfs(pdf_folder="D:/PDFs",output_folder="D:/Results",prompt_template="请将以下PDF文本翻译成中文，重点保留表格和公式格式，确保技术参数准确")org.springframework.aispring-ai-ollama-spring-boot-starter1.0.0-M6在src/main/resources下创建application.yml，配置模型地址和名称：
spring:ai:ollama:base-url: http://localhost:11434 # Ollama API地址chat:model: gemma3:1b # 本地运行的模型名import org.springframework.ai.ollama.OllamaChatModel;import org.springframework.ai.ollama.api.OllamaOptions;import org.springframework.ai.ollama.api.OllamaApi;import org.springframework.ai.chat.ChatResponse;import org.springframework.ai.chat.prompt.Prompt;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.http.MediaType;import org.springframework.web.bind.annotation.*;import reactor.core.publisher.Flux;import java.io.IOException;import java.nio.file.Files;import java.nio.file.Paths;@RestController@RequestMapping("/ai/pdf")public class LocalAIController {@Autowiredprivate OllamaChatModel ollamaChatModel;/*** 普通输出：处理PDF文本（需先通过其他接口/工具提取文本，传入text参数）*/@GetMapping("/process")public String processPdfText(@RequestParam String text, @RequestParam String prompt) {// 构造提示词String fullPrompt = prompt + "\n\nPDF文本：" + text;// 调用模型ChatResponse response = ollamaChatModel.call(new Prompt(fullPrompt, OllamaOptions.builder.model("gemma3:1b").build));return response.getResult.getOutput.getText;}/*** 流式输出：处理PDF文本（适合长文本，边生成边返回）*/@GetMapping(value = "/process/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)public FluxprocessPdfStream(@RequestParam String text, @RequestParam String prompt) { String fullPrompt = prompt + "\n\nPDF文本：" + text; return ollamaChatModel.stream( new Prompt(fullPrompt, OllamaOptions.builder.model("gemma3:1b").build) ); } /** * 本地读取PDF文件（示例：读取服务器本地PDF，实际可扩展为文件上传） */ @GetMapping("/read-local") public String readLocalPdf(@RequestParam String pdfPath, @RequestParam String prompt) throws IOException { // 读取PDF文本（实际项目需集成PDF提取工具，如Apache PDFBox） String pdfText = new String(Files.readAllBytes(Paths.get(pdfPath))); // 调用处理接口 return processPdfText(pdfText, prompt); } } 解决方案 1：更换提取工具，若pdfplumber提取乱码，可尝试PyPDF2或pdfminer.six，安装命令：pip install PyPDF2 pdfminer.six解决方案 2：检查 PDF 是否为扫描件，若为图片型 PDF，需先进行 OCR 识别，可集成paddleocr工具（pip install paddleocr）调整请求超时时间，Python 中requests.post添加timeout=60（根据文本长度设置，长文本建议 60-120 秒）流式输出场景下，确保客户端支持流式接收（如 Postman 的 “Stream” 模式）需要我帮你生成某个脚本（比如pdf_extract.py或batch_api_call.py）的可直接运行版本吗？可以根据你的实际 PDF 路径和处理需求，帮你调整参数并生成即用代码。
Hugging Face（second-state 仓库，推荐）模型文件：gemma-3-1b-it-Q5_K_M.gguf（851MB，Q5_K_M 量化，平衡精度与体积）直接下载链接：https://huggingface.co/second-state/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q5_K_M.gguf命令行下载（推荐）：bashcurl -LO https://huggingface.co/second-state/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q5_K_M.ggufHugging Face（Google 官方仓库，Q4_0 量化轻量版）模型文件：gemma-3-1b-pt-qat-q4_0.gguf（更小体积，适合低内存 CPU）仓库地址：https://huggingface.co/google/gemma-3-1b-pt-qat-q4_0-gguf下载方式：进入仓库后，点击右侧 “Files and versions”，选择对应 GGUF 文件下载。腾讯云开发者社区整合包（含一键启动脚本）涵盖 1B/4B/12B/27B 多种规模，含安装启动脚本，适合新手下载地址：https://xueshu.fun/5859（需根据页面提示选择 “Gemma 3-1B” 相关安装包）需要我帮你生成 Windows/Mac/Linux 系统下的一键下载 + 校验脚本 吗？脚本可自动检测文件完整性，避免下载中断或文件损坏
来源：雷霆战神王
