Open 32B 模型:其 72 层中仅 18 层保留 KV 缓存。
Agens Volundr 32B Preview 是一款面向智能体与长时任务场景的开源 32B 稠密模型,采用混合架构——72 层中仅 18 层保留 KV 缓存,其余 54 层使用固定大小的线性注意力状态,使 262K 超长上下文在单卡 48GB 显存上依然经济可行。在 BF16、双 48GB GPU 配置下,128K 上下文仍能保持 23.9 tok/s 的解码速度,同时支持 BF16 与 INT4 量化,遵循 Apache-2.0 开源协议。




