MiniCPM V4.6 本地部署，到底使用什么工具来部署效果最好？

[windy629]

vllm？SGLang? llama.cpp + GGUF? Transformers (Hugging Face) ? 还是 Ollama？

[tc-mb]

没有"最好"，按你的场景选就行，下面 5 个我们都官方适配过：

1. 生产 / 多卡 GPU 高并发 → vLLM 或 SGLang（吞吐量最优）
2. CPU / Mac / 单卡量化部署 → llama.cpp + GGUF（跨平台最广，量化最稳）
3. 桌面一键、零配置体验 → Ollama（llama.cpp 套壳，省事但参数控制弱）
4. 算法验证 / 精度对齐 / 调 logits → Transformers（最准但最慢）