颜水成袁粒提出新一代MoE架构：专家吞吐速度最高提升2.1倍！
颜水成袁粒提出新一代MoE架构：专家吞吐速度最高提升2.1倍！比传统MoE推理速度更快、性能更高的新一代架构，来了！ 这个通用架构叫做MoE++，由颜水成领衔的昆仑万维2050研究院与北大袁粒团队联合提出。
来自主题: AI技术研报
6785 点击 2024-10-21 11:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
比传统MoE推理速度更快、性能更高的新一代架构，来了！ 这个通用架构叫做MoE++，由颜水成领衔的昆仑万维2050研究院与北大袁粒团队联合提出。
华尔街日报独家消息，微软正与OpenAI进行140亿美元的投资股权谈判。
2024年诺贝尔物理学奖的结果引发了广泛的讨论，原因是其中一位获奖者Geoffrey Hinton（杰弗里·辛顿），并非是传统意义上的物理学家，而是一位极具声望的人工智能研究科学家，被誉为深度神经网络的奠基人和人工智能“教父”。
在全球三大IT展之一的GITEX GLOBAL上，量子位在某个展台，先后体验了和Chatbot聊天、用AI创建属于自己的3D数字人形象、和3D形象实时语言、肢体互动。 也就是说，《Her》有了3D虚拟人版。
Indeed Hiring Lab 评估了OpenAI开发的生成式AI模型GPT-4在超过2800项工作技能中的表现。
近日，来自谷歌和苹果的研究表明：AI模型掌握的知识比表现出来的要多得多！这些真实性信息集中在特定的token中，利用这一属性可以显著提高检测LLM错误输出的能力。
LLM训练速度还可以再飙升20倍！英伟达团队祭出全新架构归一化Transformer（nGPT），上下文越长，训练速度越快，还能维持原有精度。
大型语言模型（LLMs）虽然在适应新任务方面取得了长足进步，但它们仍面临着巨大的计算资源消耗，尤其在复杂领域的表现往往不尽如人意。
现在正是「文本生视频」赛道百花齐放的时代，而且其应用场景非常多，比如生成创意视频内容、创建游戏场景、制作动画和电影。