Talk预告｜北京大学吉嘉铭：大模型的高效对齐器

摘要：围绕NeurIPS 2024 Oral工作Aligner: Efficient Alignment by Learning to Correct展开，重点关注当下大模型的对齐三角难题（难、慢、贵），提出大模型的高效对齐器Aligner。

本期为TechBeat人工智能社区第651期线上Talk。

北京时间12 月25日(周三)20:00，北京大学博士生吉嘉铭的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “大模型的高效对齐器 - Aligner”，届时他将

围绕NeurIPS 2024 Oral工作Aligner: Efficient Alignment by Learning to Correct展开，重点关注当下大模型的对齐三角难题（难、慢、贵），提出大模型的高效对齐器Aligner。

Talk·信息

▼

主题：大模型的高效对齐器 - Aligner

嘉宾：北京大学 · 博士生 - 吉嘉铭

时间：北京时间 12月25日(周三)20:00

地点：TechBeat人工智能社区

一键预约TALK！

Talk·介绍

▼

本次Talk主要围绕NeurIPS 2024 Oral工作Aligner: Efficient Alignment by Learning to Correct展开，重点关注当下大模型的对齐三角难题（难、慢、贵），提出大模型的高效对齐器Aligner。基于核心的insight：Correction is easier than Generation，Aligner通过学习preferred和dis-preferred回答之间的修正残差，仅需2B的参数量便可增强11类模型包括GPT-4在推理方面36.4%和在安全方面21.6%的性能表现。同时，Aligner作为人类偏好蒸馏器，可以实现多轮weak-to-strong Generalization，并为超级对齐（Super Alignment）难题提供解决方案。

Talk大纲

1. 对齐器Aligner的研究背景

a) 人工智能对齐；AI Alignment

b) 大模型的预训练与后训练；Pre-trAIning and Post-training in Large Models

c) 基于人类反馈的强化学习技术；Reinforcement Learning from Human Feedback

2. 对齐器Aligner的研究动机

a) 大模型系统中如何开发类似Windows系统的补丁机制

3. 对齐器Aligner

a) 对齐器Aligner：一个用于大语言模型系统的补丁机制

b) 如何训练一个高效对齐器Aligner?

c) 对齐器Aligner的残差修正范式

d) 实验结果

e) 对齐器Aligner的参数规模是否越大越好？

f) 对齐器Aligner与现有方法（In-context Learning，RLHF和DPO）的性能比较

4. 功能特点

a) 对齐器Aligner 使对齐更具行为可解释性

b) 利用对齐器Aligner 实现模型的信任域提升（Trust Region Improvement）

c) 通过对齐器Aligner 实现弱到强的泛化（Weak to Strong Generalization）范式下的超级对齐

Talk·预习资料

▼

论文链接：

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

吉嘉铭

北京大学 · 博士生

吉嘉铭，北京大学人工智能研究院博士生在读，导师为杨耀东助理教授，研究方向为大模型安全与价值对齐，在计算机顶级会议期刊发表Oral、Spotlight等十余篇，谷歌学术引用1600余次，获北京大学博士最高研究奖“校长奖学金”，获首批国自然博士青年基金资助（2023年度北京大学智能学科唯一），被评为2025苹果学者（Apple Scholar），成果被OpenAI 、Meta、图灵奖获得者Yoshua Bengio等引用，被MIT Tech Review报道。

个人主页:

https://www.techbeat.net/grzytrkj?id=32707

-The End-