摘要：• 一方面，像vllm、ollama、ragflow、llama.cpp和huggingface/transformers这样的项目占据主导地位，这表明贡献者正在投资 AI 的基础层——模型运行时、推理引擎和编排框架。• 另一方面，像vscode、godot、
大家好，我是 Ai 学习的老章
GitHub 发布的 2025 年度开发者趋势报告一文中提到 2025 年最热门的项目分布在 AI 基础设施（vllm、ollama、huggingface/transformers）和持久的生态系统（vscode、godot、home-assistant）之间。
• 一方面，像 vllm、ollama、ragflow、llama.cpp 和 huggingface/transformers 这样的项目占据主导地位，这表明贡献者正在投资 AI 的基础层——模型运行时、推理引擎和编排框架。• 另一方面，像 vscode、godot、expo 和 home-assistant 这样的主要生态系统继续吸引稳定的贡献者基础，表明开源的势头远远超出了 AI 领域。vLLM——2025 年增长最快的开源 AI 项目之一。
按贡献者数量排名的顶级开源项目
按贡献者数量增长最快的项目
吸引最多首次贡献者的项目
这个推理引擎也是我最喜爱的，本号测试部署的 N 多大模型都是用它来部署的
大模型_本地部署_，vLLM 睡眠模式来了。
快手编程大模型真实水平，本地部署，实测
智谱 GLM-4.5-Air 量化大模型，本地部署，实测
字节跳动开源大模型 Seed-OSS-36B，本地部署，性能实测
本地部署大模型性能测试，DeepSeek-R1-0528-Qwen-8B 依然是我的不二之选
DeepSeek-R1-0528 蒸馏 Qwen3:8B 大模型，双 4090_本地部署_，深得我心
唯一让我不满的是我在内网用 docker 起 vLLM，它太大了，足足 22 个 GB
周末刚看到一个新项目：轻量级 vLLM 实现——Nano-vLLM
项目地址：https://github.com/GeeeekExplorer/nano-vllm
关键功能
快速离线推理 - 推理速度与 vLLM 相当
易读的代码库 - 约 1,200 行 Python 代码的简洁实现
⚡ 优化套件 - 前缀缓存、张量并行、Torch 编译、CUDA 图等
一行命令安装
pip install git+https://github.com/GeeeekExplorer/nano-vllm.git
手动下载模型权重，使用以下命令：
huggingface-cli download --resume-download Qwen/Qwen3-0.6B \ --local-dir ~/huggingface/Qwen3-0.6B/ \ --local-dir-use-symlinks False网不通的话，可以使用我多次推荐的modelscope
pip install modelscope 之后，即可使用 modelscope download 下载模型
下载完整模型库
`modelscope download --model Qwen/Qwen3-0.6B
下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下“dir”目录为例）
modelscope download --model Qwen/Qwen3-0.6B README.md --local_dir ./dir
API 与 vLLM 的接口类似，LLM.generate 方法有一些细微差别：
from nanovllm import LLM, SamplingParamsllm = LLM("/YOUR/MODEL/PATH", enforce_eager=True, tensor_parallel_size=1)sampling_params = SamplingParams(temperature=0.6, max_tokens=256)prompts = ["Hello, Nano-vLLM."]outputs = llm.generate(prompts, sampling_params)outputs[0]["text"]• 硬件：RTX 4070 笔记本电脑（8GB）• 模型: Qwen3-0.6B• 总请求量: 256个序列• 输入长度: 随机采样在100到1024个标记之间• 输出长度: 随机采样在100到1024个标记之间性能结果：
这种小模型，时延更小，吞吐量更大，看起来是很不错的样子
时间关系，我还没有本地跑大参数模型，后续肯定要试一试的。
来源：章北海mlpy
