LLM上下文窗口突破200万!无需架构变化+复杂微调,轻松扩展8倍
LLM上下文窗口突破200万!无需架构变化+复杂微调,轻松扩展8倍大型语言模型(LLM)往往会追求更长的「上下文窗口」,但由于微调成本高、长文本稀缺以及新token位置引入的灾难值(catastrophic values)等问题,目前模型的上下文窗口大多不超过128k个token
搜索
大型语言模型(LLM)往往会追求更长的「上下文窗口」,但由于微调成本高、长文本稀缺以及新token位置引入的灾难值(catastrophic values)等问题,目前模型的上下文窗口大多不超过128k个token
在4月27日召开的中关村论坛通用人工智能平行论坛上,人大系初创公司智子引擎隆重发布全新的多模态大模型Awaker 1.0,向AGI迈出至关重要的一步。
2024 年,Sora 一直活在聚光灯下
苹果第一款真正的AI设备,即将问世。
啊?Sora火爆短片《气球人》,也“造假”了???
2024年4月下旬,AMD方面发布了锐龙8000系列的专业向桌面版产品线,也就是锐龙PRO的8000系列家族。与大家熟知的“普通版”锐龙8000系列相比,“专业线”的锐龙PRO 8000系列其实变化并不大,它们主要是增加了对于微软安全处理器(Microsoft Pluton)、ECC内存、安全虚拟化,以及远程管理等专业功能的支持。
又一个国产多模态大模型开源! XVERSE-V,来自元象,还是同样的无条件免费商用。
AI视频的落地,也走出了两种路线。
近日,特工宇宙有幸邀请到了吕昭波老师进行了一次请教交谈,吕昭波老师是技术布道者、《云端架构》作者、MumuLab 创始人;他的团队 MumuLab 在全球 150+ 团队中脱颖而出,于 4 月 13 日赢得了阿里云 × 魔搭社区的 AI 创客松的冠军。
大模型力大砖飞,让LLaMA3演绎出了新高度: 超15T Token数据上的超大规模预训练,既实现了令人印象深刻的性能提升,也因远超Chinchilla推荐量再次引爆开源社区讨论。