不用独显、4GB 内存就能跑：这枚 1B 小模型，咱家电脑就能玩
MiniCPM5-1B：1B 参数的端侧小钢炮
| 模型介绍：这到底是个什么来头
上个月底，端侧大模型圈有点热闹。面壁智能（ModelBest）拉着清华和 OpenBMB 社区，搞了个"端侧大模型开源周"，连着放了好几枚模型。其中第二弹 MiniCPM5-1B，我第一时间拉下来跑了一遍——说真的，1B 这个体量能做出这种味道，有点超出预期。
先定个性：一个 1B 级别的稠密 Transformer，2026 年 5 月 25 到 29 号开源，Apache-2.0 协议，完全开源，想怎么用怎么用。
同一枚 1B 权重，能跑在手机、电脑、开发板甚至浏览器里
核心参数我贴一下，省得你们去翻 Hugging Face：
总参数
1,080,632,832（约 1.08B），非嵌入参数679,552,512标准
LlamaForCausalLM构，24 层，GQA（16 个 Q 头 / 2 个 KV 头）原生上下文
131,072（128K），注意是"原生"，实际能开多大后面会泼冷水家族很全：BF16 / SFT / Base / GGUF（给 llama.cpp、Ollama、LM Studio 用）/ MLX（Apple Silicon 4bit）
为什么值得你花十分钟看下去？三个点。
第一，榜单确实能打。在 Artificial Analysis 的 AA-Index 上，它是 2B 以下开源模型第一，得分 17.9。对比一下 Qwen3.5-2B 的 16.3——人家参数比它多一倍，分数反而低。这引出面壁提的一个说法，叫"智能密度定律"：单位参数的智能，大约每 3.5 个月翻一番。说人话就是，小模型越来越"聪明得不像这个体量"。
第二，混合推理（Hybrid Reasoning）。同一份权重，既是秒回的快速助手，也是能深度思考的推理器，靠 enable_thinking 一键切换。不用为"要不要推理"准备两套模型，省事。
第三，原生 tool calling 和 MCP 支持，还有个桌面宠物。模型能直接调工具、连 MCP；配套的 MiniCPM-Desk-Pet 是本地驱动的桌面宠物，支持 Apple Silicon / NVIDIA / CPU，能配合 Cursor、Claude Code、Codex 用，还能用 LoRA 切人格。
顺带提一句训练上的事，挺有意思：后训练用了 RL+OPD，数学/代码/指令遵循平均涨了 16 分，超长回复还砍掉了 29 个百分点（说明确实往"说短话、说对话"方向调过）。训练框架是自研的 ForgeTrain，数据做了 L0–L4 分级治理，配套开源了 Ultra-FineWeb、Ultra-FineWeb-L3、UltraData-Math 这些数据集。
一句话总结： MiniCPM5-1B 不是"小模型凑数"，而是把推理、工具调用、多端部署、甚至桌面宠物都塞进 1B 体量里的一次完整尝试。
| 本地部署：最低能低到什么程度
很多人关心的是：我这台老机器跑得动吗？
先给底线配置，这是官方给的：
内存：4GB 就够
CPU：支持 AVX2 即可，不需要独显
磁盘：2GB
整模型 + 运行时内存占用大约 1–2GB
换句话说，一台没显卡的旧笔记本，只要内存过 4GB，就能跑。
量化怎么选？GGUF 目前有三档：
F16：约 2.17GB，原味，质量最好但最占地方
Q8_0：约 1.15GB，质量几乎无损，体积友好
Q4_K_M：约 688MB，最平衡，日常聊天够用
（另外 INT4 后权重约 0.5GB，极致压缩）
我的建议：普通电脑直接上 Q4_K_M，体积和效果都舒服；要质量就 Q8_0；F16 留给有显卡、想折腾的人。
两条最常用命令，抄走：
ollama run hf.co/openbmb/MiniCPM5-1B-GGUF:Q4_K_M# macOS 可先 brew install llama.cpp纯 CPU 实测速度，大概在 15–30 tok/s。这个区间挺宽，取决于你机器老不老、开几线程。
注意
跑 llama.cpp 记得加--jinja ，否则 chat template 处理不对，聊起来会"怪怪的"。这条坑我自己踩过，加上就正常了。
注意
上下文别开太大。1B 模型在超长 context 下质量会明显掉，建议-c 8192起步，别一上来就拉满 128K。
| macOS 能不能部署：能，而且体验不错
结论先给到大家：能，而且 M 系列芯片上体验是几个平台里比较好的。
几条路都通：
llama.cpp：官方原生支持 macOS，上面那条llama serve命令直接在 Mac 上能用。
MLX：这是重点。MLX 格式专为 Apple Silicon 用 Metal 加速，效率比通用后端高。
Ollama / LM Studio / Unsloth Studio：都支持 macOS，点点点就能用，适合不想碰命令行的。
桌面宠物：明确支持 Apple Silicon。
pip install mlx
Mac 配合 MLX 或 Ollama 都能跑，M 系列体验最好
Mac 上好在哪？一是 Apple Silicon 的统一内存架构，模型权重不用在显存和内存之间来回倒；二是 MLX 这套为 Metal 量身做的后端，小模型推理特别跟手。我在一台 M 芯片的机器上跑 Q4_K_M，响应快得不像 1B 模型。
| 单板计算设备能不能部署：能，而且便宜得离谱
这部分可能是最让我意外的。一块几十到一两百块的小板子，真能跑推理。
树莓派
树莓派 4B 8GB 是"最便宜的可信主机"
别嫌 6–9 tok/s 慢，这是"最便宜的可信主机"——一杯奶茶钱的主板，就能本地跑一个会推理的模型。再往上，Pi 5 加 AI HAT，吞吐能高一到两个数量级，那就不只是玩玩了。
香橙派
香橙派 Ascend 310B NPU 版实测约 7.19 tok/s
普通 ARM 版香橙派，走 llama.cpp 就行，和树莓派一个套路。
一句话：4GB 内存的老设备、树莓派、香橙派，甚至手机（Android 用 SmolChat / PocketPal AI 加载 GGUF）和浏览器（WebAssembly 跑，断网也能用），都能跑 MiniCPM5-1B。本地、离线、隐私友好，这是它最实在的价值。
注意
关于 tool calling 的硬伤，这里得泼盆冷水。MiniCPM5-1B 的 tool calling 用的是XML 格式，llama.cpp 和 Ollama 目前解析不了，所以这两套后端只能聊天、不能稳定调工具。你要真用上 tool calling / MCP，得换 SGLang（加--tool-call-parser minicpm5）或者 vLLM。如果你只想本地聊聊天，Ollama 完全够；要玩 Agent，别用错后端。
开源声明：MiniCPM5-1B 采用 Apache-2.0 协议，可自由用于研究、学习和商用，无需额外授权。
提示：本地模型仅供学习研究使用，模型输出内容请自行甄别，本号不对输出结果负责。
谢谢你读到这里。
点个在看把这份温暖传下去吧～
关注一下，下次见面不迷路☀️