搜索
今日，蚂蚁百灵大模型开源了一款轻量级混合推理MoE模型——Ling-3.0-tiny。该模型总参数量为7.9B，推理时激活参数量为1.3B，主要面向高效本地部署而设计。其同步提供BF16、FP8和INT4三个版本，已在DGX Spark、MacBook、Mac mini等设备上完成验证，兼顾性能、效率与可部署性。
在“灵晟”国产超算登顶最新一期全球超级计算机TOP500榜单后，清程极智与“灵晟”联合完成纯CPU MoE模型分布式推理方案：16节点即可流畅运行DeepSeek-V3/R1-671B模型，在batch_size=2048时，输出吞吐量与80张主流GPU集群相当。
今日，华为开源基于昇腾NPU训练的盘古MoE模型openPangu-2.0-Pro。该模型是openPangu-2.0系列的最新开源模型，总参数规模5050亿，激活参数规模180亿，支持512K上下文长度，训练数据总量约34T tokens。另一轻量化模型openPangu-2.0-Flash已于6月12日开源，参数92亿，其中6亿为激活参数。
MoE模型的稀疏激活本是优势，却常陷通信瓶颈。NVIDIA以软件为利剑，通过程序化依赖启动和全对全通信革新，在三个月内将GB200的单GPU吞吐提升2.8倍，真正释放Blackwell硬件潜力。
阿里前几天开源的Qwen3.6-35B-A3B，让这次讨论不再只是一次普通的新旧模型对比。它一边要面对谷歌Gemma4-26B-A4B的外部竞争，一边又必须回答一个更麻烦的问题：相较于 Qwen3.5-35B-A3B，它到底是升级，还是修补？更现实的是，很多人现在真正跑着的，其实是Qwen3.5-27B，那么这条新的35B-A3B路线，到底值不值得迁过去。
作为大模型从业者或研究员的你，是否也曾为一个模型的 “长文本能力” 而兴奋，却在实际应用中发现它并没有想象中那么智能？
大模型参数量飙升至千亿、万亿级，却陷入“规模越大，效率越低” 困境？中科院自动化所新研究给出破局方案——首次让MoE专家告别“静态孤立”，开启动态“组队学习”。
今天，蚂蚁百灵大模型团队正式开源其最新 MoE 大模型 ——Ling-flash-2.0。作为 Ling 2.0 架构系列的第三款模型，Ling-flash-2.0 以总参数 100B、激活仅 6.1B（non-embedding 激活 4.8B）的轻量级配置，在多个权威评测中展现出媲美甚至超越 40B 级别 Dense 模型和更大 MoE 模型的卓越性能。
gpt5来临前夕，oai疑似发布的小模型gpt-oss 120B的架构图已经满天飞了。难得openai要open一次，自然调动了我的全部注意力机制。本来以为oai还要掏出gpt2意思意思，结果看到了一个120B moe。欸？！
超大规模MoE模型（如DeepSeek），到底该怎么推理才能做到又快又稳。现在，这个问题似乎已经有了标准答案——华为一个新项目，直接把推理超大规模MoE背后的架构、技术和代码，统统给开源了！