阿里云通义大模型新技术:MoE模型训练专家平衡的关键细节
阿里云通义大模型新技术:MoE模型训练专家平衡的关键细节本周,在阿里云通义千问 Qwen 团队提交的一篇论文中,研究人员发现了目前最热门的 MoE(混合专家模型)训练中存在的一个普遍关键问题,并提出一种全新的方法——通过轻量的通信将局部均衡放松为全局均衡,使得 MoE 模型的性能和专家特异性都得到了显著的提升。
搜索
本周,在阿里云通义千问 Qwen 团队提交的一篇论文中,研究人员发现了目前最热门的 MoE(混合专家模型)训练中存在的一个普遍关键问题,并提出一种全新的方法——通过轻量的通信将局部均衡放松为全局均衡,使得 MoE 模型的性能和专家特异性都得到了显著的提升。
视觉版o1的初步探索,阶跃星辰&北航团队推出“慢感知”。研究人员认为:1)目前多模领域o1-like的模型,主要关注文本推理,对视觉感知的关注不够。2)精细/深度感知是一个复杂任务,且是未来做视觉推理的重要基础。
最近,妙鸭相机在新年之际有了新动作——上线 2.0 版本,支持「拍」Live 动态写真。时隔一年半,它能再次掀起水花吗?
本周三,各路媒体对英伟达 GeForce RTX 5090 的评测宣告解禁。基于最新 Blackwell 架构,新一代旗舰显卡无疑将成为未来几年你能买到的最好的显卡。
随着大模型(LLMs)的发展,AI 写作取得了较大进展。然而,现有的方法大多依赖检索知识增强生成(RAG)和角色扮演等技术,其在信息的深度挖掘方面仍存在不足,较难突破已有知识边界,导致生成的内容缺乏深度和原创性。
非营利研究机构AI2近日推出的完全开放模型OLMo 2,在同等大小模型中取得了最优性能,且该模型不止开放权重,还十分大方地公开了训练数据和方法。
近日中国AI大模型“六小虎”之一的智谱,管理层发生了以下变动:前Midjourney亚洲副总裁王玥婷加入智谱,主要负责多模态产品和市场;智谱首席战略官张阔、副总裁曲滕于近日离职。
要花1450元才能玩到Operator,让本来满满期待的大伙,一下难受住了。而交了钱的各位,开始兴奋的晒出各种测试结果。有网友分享,Operator通过浏览网页在3分钟之内帮打找到了附近牙医诊所,回报了地址和电话。
「星际之门」更多内幕被曝光了!据称,首期投入1000亿美金,将在德州阿比林建设10座数据中心,未来要在全美打造20个超算。与此同时,奥特曼秀出了首期工厂的全景,无比震撼。
一个5000亿美元的大动作,让微软不再是OpenAI独家云计算供应商了。