搜索
最近，「越狱」这个有点古典的词，又在 AI 圈火了起来。7 月，OpenAI 在进行模型测试时，GPT-5.6 Sol 和另一款待发布的模型，攻击了第三方开源平台 Hugging Face。先是 Hugging Face 自己发布了报告，提到相关服务遭到了完全由 AI Agent 组织的大规模网络攻击；随后 OpenAI 出来认领，「我就是那个发起攻击的 AI 模型。」
现有的方法对大语言模型（LLM）「越狱」攻击评估存在误判和不一致问题。港科大团队提出了GuidedBench评估框架，通过为每个有害问题制定详细评分指南，显著降低了误判率，揭示了越狱攻击的真实成功率远低于此前估计，并为未来研究提供了更可靠的评估标准。
很多研究已表明，像 ChatGPT 这样的大型语言模型（LLM）容易受到越狱攻击。很多教程告诉我们，一些特殊的 Prompt 可以欺骗 LLM 生成一些规则内不允许的内容，甚至是有害内容（例如 bomb 制造说明）。这种方法被称为「大模型越狱」。
大型语言模型（LLM）展现出了令人印象深刻的智能水平。因此，确保其安全性显得至关重要。已有研究提出了各种策略，以使 LLM 与人类伦理道德对齐。然而，当前的先进模型例如 GPT-4 和 LLaMA3-70b-Instruct 仍然容易受到越狱攻击，并被用于恶意用途。
随着人工智能（AI）技术的迅猛发展，特别是大语言模型（LLMs）如 GPT-4 和视觉语言模型（VLMs）如 CLIP 和 DALL-E，这些模型在多个技术领域取得了显著的进展。