OpenAI重拾规则系统，用「AI版机器人定律」守护大模型安全
OpenAI重拾规则系统，用「AI版机器人定律」守护大模型安全在大算力和大数据让基于统计的 AI 模型真正变得强大且有用之前，基于规则的系统长期以来是语言模型的主导范式。
来自主题: AI技术研报
6135 点击 2024-11-06 14:57
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在大算力和大数据让基于统计的 AI 模型真正变得强大且有用之前，基于规则的系统长期以来是语言模型的主导范式。
之前我们聊过 RAG 里文档分块 (Chunking) 的挑战，也介绍了 迟分 (Late Chunking) 的概念，它可以在向量化的时候减少上下文信息的丢失。今天，我们来聊聊另一个难题：如何找到最佳的分块断点。
视觉语言模型（如 GPT-4o、DALL-E 3）通常拥有数十亿参数，且模型权重不公开，使得传统的白盒优化方法（如反向传播）难以实施。
北大校友打造的1000个智能体「我的世界」，背后原理揭晓了！ 团队全新公开35页技术报告，详尽解密AI智能体如何产生专业化分工、社交互动、甚至传播虚拟宗教……
复刻OpenAI o1推理大模型，开源界传来最新进展： LLaMA版o1项目刚刚发布，来自上海AI Lab团队。
SegVG是一种新的视觉定位方法，通过将边界框注释转化为像素级分割信号来增强模型的监督信号，同时利用三重对齐模块解决特征域差异问题，提升了定位准确性。实验结果显示，SegVG在多个标准数据集上超越了现有的最佳模型，证明了其在视觉定位任务中的有效性和实用性。
Segment Anything Model 2（SAM 2）在传统视频目标分割任务大放异彩，引起了众多关注。然而，港中文和上海 AI Lab 的研究团队发现 SAM 2 的贪婪选择策略容易陷入「错误累积」的问题，即一次错误的分割掩码选择将影响后续帧的分割结果，导致整个视频分割性能的下降。这个问题在长视频分割任务中显得更加严重。
让 LLM 在自我进化时也能保持对齐。
OpenAI o1彻底带火慢思考和思维链（CoT）方法，但CoT在某些任务上反而会降低模型表现。
Kapoor 在 2024 年 TechCrunch Disrupt 大会上启动了一场关于“新数据管道”的对话，讨论现代 AI 应用的背景，他的对话伙伴包括风险投资公司NEA的合伙人Vanessa Larco，以及数据集成平台Fivetran的首席执行官George Fraser。