搜索
据 Runway 前员工向 4m 的爆料，Runway 公司里几乎是全员都会在这个表格里录入数据，用来训练他们自家的模型。表格里搜集的油管视频，他们是用开源软件 YouTube-DL 下载的，为了防止被 Youtube 封禁，Runway 还找供应商买了专门的代理，用这些代理 IP 地址来下载视频。
伴随着人工智能的高速发展，用户或创作者与平台间围绕AI侵权的纠纷时有发生。
OpenAI首席执行官山姆·阿尔特曼称，向每个人发放基本收入是应对“人工智能将消除无数人类工作”这一理论必然性的“显而易见的结论”。这项具有里程碑意义的研究为“全民基本收入”的好处提供了更多数据，而“全民基本收入”是这位OpenAI 创始人为应对人工智能取代人类工作的未来而提出的解决方案。
Scale AI 的创始人 8 年前意识到，所有干 AI 的都认为数据至关重要，但没多少人把数据当成主业。
知识图谱作为结构化知识的重要载体，广泛应用于信息检索、电商、决策推理等众多领域。然而，由于不同机构或方法构建的知识图谱存在表示方式、覆盖范围等方面的差异，如何有效地将不同的知识图谱进行融合，以获得更加全面、丰富的知识体系，成为提高知识图谱覆盖度和准确率的重要问题，这就是知识图谱对齐（Knowledge Graph Alignment）任务所要解决的核心挑战。
华盛顿大学和Allen AI最近发表的论文提出了一种新颖有趣的数据合成方法。他们发现，充分利用LLM的自回归特性，可以引导模型自动生成高质量的指令微调数据。
9次迭代后，模型开始出现诡异乱码，直接原地崩溃！就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法？那就是——更多使用人类数据！
训练数据是用 GPT-4o 生成的？那质量不好说了。
我们知道 LLM 是在大规模计算机集群上使用海量数据训练得到的，机器之心曾介绍过不少用于辅助和改进 LLM 训练流程的方法和技术。而今天，我们要分享的是一篇深入技术底层的文章，介绍如何将一堆连操作系统也没有的「裸机」变成用于训练 LLM 的计算机集群。
高质量数据是稀缺资源