清华、智谱团队：探索 RLHF 的 scaling laws
数据的多样性和规模：增加训练数据的多样性和数量能够显著提升奖励模型（RM）的性能；策略训练的效率：初期增加响应样本能够提高策略训练效果，但收益会迅速趋于平稳；RLHF 的 scaling 效率低于预训练：RLHF 的计算资源投入带来的回报递减，整体 scali
rlhf laws scalinglaws 2024-12-24 11:50 3
rlhf
综合RLHF、DPO、KTO优势，统一对齐框架UNA来了
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqiz
翁荔离职OpenAI后第一个动作：万字长文探讨RLHF漏洞，网友抢着看
主题围绕强化学习中奖励黑客（Reward Hacking）问题展开，即Agent利用奖励函数或环境中的漏洞来获取高奖励，而并未真正学习到预期行为。