Product Introduction
- MiniCPM 4.0是由面壁智能与清华大学等机构联合开发的端侧高效大语言模型系列，包含8B和0.5B参数版本及BitCPM量化变体，采用Apache-2.0开源协议。该产品通过架构优化、算法创新和工程改进，在边缘计算芯片上实现5倍以上的推理加速，支持32K原生上下文长度并通过YaRN技术扩展至128K。
- 核心价值在于突破端侧设备算力限制，通过稀疏注意力机制、三值量化和专用推理框架CPM.cu等技术，使大模型能在Jetson AGX Orin等边缘芯片上高效运行，同时保持与7B-9B参数模型相当的推理质量，为物联网设备和移动端提供工业级AI能力。
Main Features
- 采用InfLLM v2可训练稀疏注意力架构，在128K长文本处理中每个token仅需计算不足5%的注意力连接，Jetson AGX Orin平台相比Qwen3-8B实现7倍生成加速。
- 支持BitCPM三值量化技术，通过量化感知训练(QAT)将模型权重压缩至1.58bit位宽，在保持97%原模型性能的同时减少90%存储占用，支持HuggingFace直接部署。
- 集成CPM.cu专用推理框架，融合稀疏计算、投机采样和动态批处理技术，在RTX 4090上实现超过4000 tokens/s的吞吐量，支持GGUF格式的llama.cpp跨平台部署。
Problems Solved
- 解决边缘设备运行大模型时算力不足和内存受限问题，通过架构级优化使8B参数模型在4GB显存设备上流畅运行。
- 针对工业场景的长文本处理需求，采用LLMxMapReduce分治策略实现理论无限长上下文支持，在InfiniteBench评测中超越GPT-4和KimiChat。
- 降低企业AI部署成本，0.5B量化版本可在树莓派5等嵌入式设备运行，支持Python/C++多语言SDK和ONNX Runtime移动端适配。
Unique Advantages
- 相比同类端侧模型，采用动态稀疏注意力而非固定窗口机制，在AGI-Eval长文本理解任务中准确率提升23%，同时减少40%计算FLOPs。
- 创新性提出模型风洞2.0预测式缩放技术，通过小规模实验精准预测下游任务表现，使0.5B模型在CEVAL测试集达到73.6分，超越部分7B模型。
- 在MCP协议支持方面具有独特优势，内置MiniCPM4-MCP代理可同时调用16类工具服务器，在BFCL工具调用准确率评测中以76%超越GLM-4-9B等大参数模型。
Frequently Asked Questions (FAQ)
- 如何在边缘设备部署MiniCPM4？支持GGUF格式量化模型通过llama.cpp部署，提供ARMv8/NEON指令集优化，Jetson Nano可实现8bit量化下2.3 tokens/s的实时推理。
- 长文本处理如何保证准确性？采用YaRN扩展技术和动态稀疏注意力机制，在128K长度NeedleInAHaystack测试中实现全绿通过率，支持MapReduce架构处理超百万token文档。
- BitCPM量化是否影响工具调用能力？量化后模型保留完整function calling接口，在MCP工具调用基准测试中参数识别准确率仅下降2.8%，支持量化感知微调恢复性能。
- 开源版本包含哪些商用权利？Apache-2.0协议允许商业应用，但需遵守模型卡中的伦理使用规范，企业级支持需联系官方获取定制化SDK。
- 支持哪些边缘计算平台？已验证适配NVIDIA Jetson全系、瑞芯微RK3588、高通骁龙8 Gen3等平台，提供Docker镜像和Android NDK编译工具链。
