大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE
大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。
搜索
大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。
AI初创公司面临融资困境,投资者对于技术未经证实的公司持谨慎态度。大公司如OpenAI成为竞争对手,使初创公司面临更大市场压力。
Gemini Pro API今天上线即免费,开发者可以通过Vertex AI定制自己的Gemini。同时,Gemini也将支持谷歌的AI代码助手——Duet AI。
今年10月,《时代》杂志发布了一份「2023最佳发明」榜单,为了呼应AI浪潮,《时代》从去年开始就特别设置了「AI单元」。在今年入选的十几个应用中,排在老牌软件巨头Adobe和屠龙少年OpenAI之后的就是大火的文生视频应用——Runway Gen-2。
即使经历了 11 月堪称「狗血」的 OpenAI 逼宫事件,Sam Altman 仍然无愧于时代周刊(TIME)颁发的年度 CEO 的称号,从 YC 到 OpenAI,Sam Altman 用他天才的商业头脑在一步步推动世界的改变,夸张点说,「以一己之力带领世界进入了 AGI 时代」。
彭博社报道,Mistral 正在完成 4.87 亿美元的融资,估值 20 亿美元,其中英伟达、Salesforce 参与,a16z 领投。
主打 AI 内容搜索和问答的产品 Perplexity AI 近日宣布他们的 iOS App 用户量突破 100 万,而 12 月 8 日也是 Perplexity AI 成立一周年。
让GPT-4操纵人形机器人,事先不做任何编程or训练,能搞成啥样儿? 答案是:太 猎 奇 了!
Transformer作者创立的大模型公司,再获5650万美元投资,换算成人民币有四亿多。
教大模型调用工具,已经是AI圈关注度最高的话题之一了。这不,又有一项研究登上最新NeurIPS 2023——它是一个叫做Chameleon(变色龙)的框架,号称能将大语言模型直接变成魔法师的工具箱,来自微软与加州大学洛杉矶分校(UCLA)。