支持私有化部署
我要投稿
微信搜一搜，关注“NLP前沿”
好像还是没啥热点，继续发论文笔记叭。今天分享的是上周的热门论文，标题是：Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge，由Meta，加州大学，纽约大学共同发的文章。
背景: 传统的LLMs偏好对齐依赖于人工标注数据。self-rewarding机制允许LLMs通过自我判断response来实现self-improving，而不依赖人工标注。论文的核心是提出了一个meta-rewarding的机制，克服传统方法快速过拟合的问题，可以大幅提升模型的指令遵循能力。
初始状态，默认有一个经过sft的模型，没有监督数据。想法是通过迭代的自我对弈过程从模型本身生成训练数据。在这个过程中，模型承担三个主要角色：作为actor，它对给定的prompt生成response；作为judge，它对自己的response进行评估和打分；作为meta-judge，它会比较自己判断的质量。
actor是最终需要的模型，但是训练的有效性取决于判断的准确性。随着判断准确性的提高，它将为actor的训练提供更高质量的反馈，最终训练出更好的actor。因此，meta-rewarding的目标是在训练过程中提高模型作为actor和judge的能力。meta-judge的作用是提供训练judge所需的反馈。
迭代训练方案：
偏好对数据集：通过meta-judge的评估，创建用于训练actor和judge的偏好对数据集。这包括actor生成的response之间的偏好对和judge判断之间的偏好对。
有了偏好数据集之后，使用dpo训练。meta-judge的prompt ，wx翻译如下：
效果，Meta-Rewarding方法明显提升模型遵循指令的能力，例如，将Llama-3-8B-Instruct模型在AlpacaEval 2上的胜率从22.9%提高到39.4%。
用微信扫描二维码
用微信扫描二维码
用微信扫描二维码
用微信扫描二维码
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-05-27
盘点 Azure AI Foundry 的10大重要更新
2025-05-27
50个AI基础常识问答（看完理解整个AI行业）
2025-05-27
AI时代下的软件升级：大模型如何让考勤系统听懂人话？
2025-05-27
美团要开放AI编程能力，将推出新产品NoCode｜智能涌现独家
2025-05-27
AI大模型3种模式：Embedding、Copilot与Agent深度解析
2025-05-27
AI领域基础概念(下)
2025-05-26
万字长文！AI智能体全面爆发前夜：一文讲透技术架构与行业机会
2025-05-26
国产顶级 DeepResearch 类产品，把咨询专家请回家
2025-04-17
2025-04-19
2025-04-15
2025-04-15
2025-04-13
2025-04-15
2025-04-20
2025-04-29
2025-04-13
2025-04-15
2025-05-27
2025-05-26
2025-05-23
2025-05-23
2025-05-23
2025-05-18
2025-05-18
2025-05-17
回到顶部
粤ICP备17114055号
