陈丹琦团队新作:数据量砍95%,大模型性能更强了!Less is More
陈丹琦团队新作:数据量砍95%,大模型性能更强了!Less is More造大模型的成本,又被打下来了!这次是数据量狂砍95%的那种。陈丹琦团队最新提出大模型降本大法——数据选择算法LESS, 只筛选出与任务最相关5%数据来进行指令微调,效果比用整个数据集还要好。
搜索
造大模型的成本,又被打下来了!这次是数据量狂砍95%的那种。陈丹琦团队最新提出大模型降本大法——数据选择算法LESS, 只筛选出与任务最相关5%数据来进行指令微调,效果比用整个数据集还要好。
单图 3D 说话人视频合成 (One-shot 3D Talking Face Generation) 可以被视作解决这一难题的下一代虚拟人技术。它旨在从单张图片中重建出目标人的三维化身 (3D Avatar)
OpenAI 的 CEO 山姆・奥特曼(Sam Altman)引领了近期生成式 AI 的大发展。最近,他又有了一个宏伟目标:重塑全球半导体行业。
今天介绍一篇密歇根州立大学 (Michigan State University) 和劳伦斯・利弗莫尔国家实验室(Lawrence Livermore National Laboratory)的一篇关于零阶优化深度学习框架的文章 ,本文被 ICLR 2024 接收,代码已开源。
2023 年,大型语言模型(LLM)以其强大的生成、理解、推理等能力而持续受到高度关注。然而,训练和部署 LLM 非常昂贵,需要大量的计算资源和内存,因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。
混合专家(MoE)架构已支持多模态大模型,开发者终于不用卷参数量了!北大联合中山大学、腾讯等机构推出的新模型MoE-LLaVA,登上了GitHub热榜。
生成式AI的诞生,为芯片设计开启了另一条路。现在不论是英伟达等科技公司,还是学术界,都在试图研发出能够完全自主设计芯片的AI系统。
谷歌推出Gemini大规模商业化,将其聊天机器人Bard改名为Gemini,并推出Gemini的Android版App。谷歌还将Gemini的能力加入iOS的Google App中,并免费向公众开放。Gemini还可替代原来的Google Assistant成为手机的默认语言助手。
AI大模型并非越大越好?过去一个月,关于大模型变小的研究成为亮点,通过模型合并,采用MoE架构都能实现小模型高性能。
刚刚,Google推出计划,用户可以每月花 19.99 美金订阅 Google One AI Premium,使用支持 Gemini 的 Gmail、Docs,Sheets,Slides 和 Meet——也就是说,你可以在谷歌办公全家桶中畅享 Gemini 的 AI 功能了。