ds4

DeepSeek V4、GLM、Qwen 的本地推理引擎

ds4（DwarfStar 4）是 Salvatore Sanfilippo（antirez）开发的轻量级本地推理引擎，可在高内存 Mac 及 CUDA、ROCm 设备上运行 DeepSeek V4/V4.1 Flash、GLM 5.x 和 Qwen3.8 Flash Next。它采用路由专家非对称量化与 SSD 持久化 KV 缓存，后者可在重启后继续使用；同时提供 CLI、兼容 OpenAI/Anthropic 的本地 API，以及共享同一模型状态的原生 coding agent。项目采用 MIT 许可证，在 M5 Max 128GB 上的生成速度可达 34.4 t/s。