推理成本比MoE直降83%！字节最新大模型架构入围ICLR 2025
推理成本比MoE直降83%！字节最新大模型架构入围ICLR 2025字节出了个全新架构，把推理成本给狠狠地打了下去！推理速度相比MoE架构提升2-6倍，推理成本最高可降低83%。
来自主题: AI技术研报
8785 点击 2025-02-12 11:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
字节出了个全新架构，把推理成本给狠狠地打了下去！推理速度相比MoE架构提升2-6倍，推理成本最高可降低83%。
推理大语言模型（LLM），如 OpenAI 的 o1 系列、Google 的 Gemini、DeepSeek 和 Qwen-QwQ 等，通过模拟人类推理过程，在多个专业领域已超越人类专家，并通过延长推理时间提高准确性。推理模型的核心技术包括强化学习（Reinforcement Learning）和推理规模（Inference scaling）。
先是三星宣布智谱的Agentic GLM成为其新手机Galaxy S25的AI能力来源，紧接着The Information爆料，在经历了近一年的模型测试与合作伙伴探索后，苹果终于敲定了中国市场的合作伙伴：阿里巴巴。这意味着，中国iPhone用户很可能在今年迎来一个由国产大模型驱动的iPhone。
只用4500美元成本，就能成功复现DeepSeek？就在刚刚，UC伯克利团队只用简单的RL微调，就训出了DeepScaleR-1.5B-Preview，15亿参数模型直接吊打o1-preview，震撼业内。
埃隆·马斯克（Elon Musk） 掌管的政府效率部（DOGE）正为美国总务管理局（GSA） 开发一款定制 AI 聊天机器人—GSAi。这项计划是特朗普总统人工智能议程的一部分，目的是简化联邦政府的运作，提高行政效率。
还在为 DeepSeek R1 官网的卡顿抓狂？无问芯穹大模型服务平台现已上线满血版 DeepSeek-R1、V3，无需邀请即可免费用 Token！另有异构算力鼎力相助，支持通过 Infini-AI 异构云平台一键获取 DeepSeek 系列模型与多元异构自主算力服务。
据悉，Anthropic本周会提前放出Claude 4？并且，一份38页Anthropic经济指数报告放出，结论是43%的人类工作正在被自动化！一个有趣的现象是：低薪和高薪职业中，AI使用率都很低。
刚刚，港大字节联手发布最新视频生成模型，让歪果网友直呼疯狂。有人甚至直接RIP市场营销、TikTok用户和YouTube创作者。你敢信，下面这一幕不是来自欧巴电视剧，而是AI生成的！
一篇报道，在AI圈掀起轩然大波。文中引用了近2年前的论文直击大模型死穴——Transformer触及天花板，却引来OpenAI研究科学家的紧急回应。谁能想到，一篇于2023年发表的LLM论文，竟然在一年半之后又「火」了。
本期我们有幸邀请到了Pokee AI创始人朱哲清Bill，凭借Bill在Meta和斯坦福大学的丰富经验，尤其是在大规模部署强化学习模型服务数十亿用户方面的实践，他发现了强化学习的巨大潜力。Pokee AI致力于开发卓越的交互式、个性化、高效的AI Agent，结合团队深厚的强化学习专长，打造具备规划、推理和工具使用能力的解决方案，同时减少现有 AI 系统的幻觉问题。