最新综述:LLM作为法官,用AI评判AI
最新综述:LLM作为法官,用AI评判AI让AI来评判AI,即利用大语言模型(LLM)作为评判者,已经成为近半年的Prompt热点领域。这个方向不仅代表了AI评估领域的重要突破,更为正在开发AI产品的工程师们提供了一个全新的思路。
来自主题: AI技术研报
12084 点击 2024-11-29 09:11
搜索
让AI来评判AI,即利用大语言模型(LLM)作为评判者,已经成为近半年的Prompt热点领域。这个方向不仅代表了AI评估领域的重要突破,更为正在开发AI产品的工程师们提供了一个全新的思路。
AI评估AI可靠吗?来自Meta、KAUST团队的最新研究中,提出了Agent-as-a-Judge框架,证实了智能体系统能够以类人的方式评估。它不仅减少97%成本和时间,还提供丰富的中间反馈。
微软发布了 Copilot,Apple 将 Apple Intelligence 接入了 OpenAI 以增强 Siri。
DeepJudge以智能搜索技术为核心,为法律行业提供自然语言搜索,强化数据安全。个性化服务和智能标签提升工作效率,确保法律从业者快速获取所需信息。
在目前的模型训练范式中,偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中,偏好数据通常被用作对齐(alignment)时的训练优化目标,如基于人类或 AI 反馈的强化学习(RLHF/RLAIF)或者直接偏好优化(DPO),而在模型评估中,由于任务的复杂性且通常没有标准答案,则通常直接以人类标注者或高性能大模型(LLM-as-a-Judge)的偏好标注作为评判标准。
瑞士连续12年全球创新指数竞争力排名第一,是全球重要的创新策源地,也是中国首个创新战略伙伴关系国,在创新发展和科技金融领域与中国具有极佳互补性。