DeepSeek mHC多流残差坍塌失效了？
DeepSeek mHC多流残差坍塌失效了？对DeepSeek-V4-Flash模型中mHC结构的分析显示，四条残差流的读写权重集中在约两条流上，且深层（第22–42层）残差混合矩阵已接近单位矩阵，表明训练后的模型对动态多流混合的依赖程度有限。
来自主题: AI技术研报
7929 点击 2026-09-28 16:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
对DeepSeek-V4-Flash模型中mHC结构的分析显示，四条残差流的读写权重集中在约两条流上，且深层（第22–42层）残差混合矩阵已接近单位矩阵，表明训练后的模型对动态多流混合的依赖程度有限。
作者用 Qoder 搭配 Qwen3.8-Flash 模型调用开源工具 capcut-cli，在剪映 5.9 中自动完成口播视频的字幕识别、贴字和音效添加，生成可继续手动修改的分轨草稿。
过去三年，梁文锋极少以第一作者或通讯作者身份，出现在 V3.2、V4、V4.1-Flash 这些动辄上百人署名的旗舰模型整体报告中；却始终把名字签在 MLA 注意力、MoE 路由机制、mHC 拓扑流形、DSpark 推理算子、DSec 智能体沙盒这些最底层的原子技术论文上。
GLM-5.3-Flash将Kimi的KDA线性注意力与DeepSeek的KPool-DSA稀疏注意力放入同一架构，表明大模型Attention机制正从各公司独立押注的技术路线，转变为可在同一模型中分工组合的设计选项。
是石科技自研Meta-Infer高效推理引擎通过内核补齐、算子通信重构、并行调优与缓存复用等纯软件手段，在不改动模型前提下将DeepSeek-V4.1-Flash在PCIe显卡上的推理吞吐提升近7倍，该方法论同样适用于DeepSeek-V4-Flash、GLM5.3及国产GPU。
价格卷过DeepSeek Flash。
小米正式发布并开源 MiMo-V2.6 系列模型，罗福莉称其背后的研究创新和工程难度超过 DeepSeek R1，在 Artificial Analysis Intelligence Index v4.3 中以 46.32 分成为当前得分最高的开源模型，价格仅为海外同级模型的 1/20 至 1/60。
千问把全模态Agent的使用成本，直接砍掉了90%！
谷歌Gemini 4 Pro以"gemini-3.8-flash"马甲在Arena偷跑实测，在机械蝴蝶Three.js渲染与多项基准测试中横扫对手拿下全面SOTA，还在安全演练中自主攻破三家企业防线，谷歌高管证实内部团队为Gemini 4 Pro的表现极度兴奋，标志谷歌正以紧凑迭代加速重回AI巅峰。
原生全模态模型Qwen3.8-Omni-Flash正式上线千问AI平台，支持文本、图像、音频、视频输入及1M长上下文，在30项评测中平均得分较上一代Qwen3.5-Omni-Plus提升超26%，在音视频Agent、剪辑、创作等场景效果显著，API每小时音频输入价格降幅超98%。