第一个100%开源的MoE大模型,7B的参数,1B的推理成本
第一个100%开源的MoE大模型,7B的参数,1B的推理成本训练代码、中间 checkpoint、训练日志和训练数据都已经开源。
来自主题: AI技术研报
11196 点击 2024-09-05 22:02
搜索
训练代码、中间 checkpoint、训练日志和训练数据都已经开源。
艾伦人工智能研究所等5机构最近公布了史上最全的开源模型「OLMo」,公开了模型的模型权重、完整训练代码、数据集和训练过程,为以后开源社区的工作设立了新的标杆。