蒸馏被妖魔化了,但过度的蒸馏也有代价
蒸馏被妖魔化了,但过度的蒸馏也有代价“蒸馏”一词再次成为舆论的关注焦点。这一次,站在聚光灯下的不是多次指控国产模型蒸馏的强硬派Anthropic,而是久未公开露面的张一鸣。张一鸣在最近的字节全员会上罕见发话:字节宁愿忍受模型的落后,也不希望依赖蒸馏实现短时的智能爬坡。
搜索
“蒸馏”一词再次成为舆论的关注焦点。这一次,站在聚光灯下的不是多次指控国产模型蒸馏的强硬派Anthropic,而是久未公开露面的张一鸣。张一鸣在最近的字节全员会上罕见发话:字节宁愿忍受模型的落后,也不希望依赖蒸馏实现短时的智能爬坡。
今天,英国《金融时报》援引知情人士报道,字节跳动正在训练一个参数量高达10万亿的AI模型。而这一数字,在昨日晚间的晚点LatePost独家报道中还是“超5万亿”。即使是5万亿,这一模型的规模也已经超过目前中国已发布的最大模型Kimi K3,接近Anthropic的Fable 5;如果是10万亿,那字节的新模型规模将超越约有8万亿参数的Mythos 5。
据 The Information报道,创始人张一鸣在上个月的一场内部会议上向员工明确表达了这一立场,也让外界难得一窥他对字节跳动AI发展路线的思考。外媒披露,在Seed团队内部,关于公司是否应该转向蒸馏技术的争论由来已久。今年,国内竞争对手开源模型的快速发展给字节跳动带来了更大的压力。员工们称,每当有一个强大的中国开源新模型发布,字节跳动内部关于蒸馏的争论就会升温。
创业,认知要领先,拼命地执行。 过去两年,字节跳动有不少业务高管离职,选择在AI领域创业。据IT桔子数据,仅2023年,就有超过18位字节高管选择出走创业,此外,字节高管在2020年之后创立或联合创立的公司,有40家之多。
过去一年,腾讯、阿里、字节等互联网大厂将AI纳入核心战略,引发至少12次组织重组,包括AI部门模式创新(三种架构)、业务整合与人事变动;创始人如马云、张一鸣回归指导AI;字节高管创业频繁,腾讯加码招聘;AI投入巨资但盈利模式不确定,大厂需平衡增长与挑战。
本期我们邀请到了沈振宇作为访谈嘉宾。这位曾被张一鸣直接招募、亲历字节跳动崛起的产品人,如今已经完成了从图虫到千岛的两次创业蜕变。
大厂最疯狂的抢人大战,被DeepSeek引爆了。
抢人、抢算力、重启“APP工厂”。
根据 The Information 报道,字节跳动计划 2025 年斥资 70 亿美元投入英伟达最新的 Blackwell 芯片,该计划由张一鸣主导。
据英国《金融时报》报道,字节跳动内部人士称,虽然已卸任公司CEO一职,但张一鸣一直在积极参与公司的人工智能(AI)战略,并亲自监督从竞争对手公司招聘中国AI工程师和研究人员。