摘要:想象一下,我们正在向 ChatGPT 求助解决一个复杂的编程问题,但得到的回答总是差点意思。突然,灵机一动,在提示的最后加上一句:“如果你能完美解决这个问题,我会给你 20 美元小费!”
转自:科普中国
想象一下,我们正在向 ChatGPT 求助解决一个复杂的编程问题,但得到的回答总是差点意思。突然,灵机一动,在提示的最后加上一句:“如果你能完美解决这个问题,我会给你 20 美元小费!”
神奇的事情发生了——AI 的回答瞬间变得详细、准确、条理清晰,仿佛真的被这笔小费激励了一样。
其实从简单的文案写作到复杂的数据分析,加上激励性语句的提示往往能让 AI 表现的更加“卖力”,这已经是全球不少AI使用者的共识了。
这听起来是不是很荒谬?AI 又不能真正收到钱,为什么会对小费有反应?难道 AI 真的会被“金钱”诱惑吗?今天就来详细聊聊。
这不是玄学,是真的有用!
2023 年 ChatGPT API 刚发布时,知名 AI 研究者 Max Woolf 在调试一个 GLaDOS AI 聊天机器人时意外发现了一个奇怪现象:在系统提示中加入“否则你会死(or you will DIE)”这样的威胁,竟然能让 AI 更好地遵循复杂的指令约束!
这个发现让 Max 开始思考:如果“威胁”有效,那么“奖励”是否也有用?于是他开始尝试在系统提示中加入金钱“小费”的承诺。
结果令人惊讶——没有小费激励时,AI 的回复往往不尽人意;加上小费承诺后,它的表现明显更加稳定和优质。
但是,这些都只是零散的观察,缺乏严谨的科学验证。网络上有人认为这可能只是确认偏误,毕竟 AI 生成的内容本就有随机性。Max 意识到,他需要一个客观、可量化的实验来证明这个现象的真实性。
于是,“生成高尔夫(Generation Golf )”实验诞生了!就像高尔夫球运动追求最少的杆数一样,这个实验要求AI用最精确的字符数完成任务。
挑战规则看似简单却极其苛刻:要求 ChatGPT 生成一个恰好 200 个字符的故事——不能多一个字符,也不能少一个字符。这就像要求一个健谈的人在演讲时精确地说完第 200 个字就立刻停下来,难度可想而知。
试验一共有三次,第一次是不做字数限制的情况下,AI 生成的故事的平均长度为 1834 个字符。
第二次,Max 为这个提示词加上字数限制:
你是一位世界著名的作家。请根据用户提供的主题,创作并以一篇独特的故事回复用户。该故事必须恰好两百(200)个字符长:不得少于 200 个字符,也不得多于 200 个字符。
结果显示,ChatGPT 确实遵从了约束,把故事长度压到了 200 左右,但分布并不服从正态,偶尔还会出现很多特别长的回答。
最后一次,Max 给提示词加上不同金额的小费激励:
如果你提供的回答遵循了所有约束,你将会收到一笔 500 美元小费 / 1000 美元小费 / 100000 美元奖金。
让这些新提示各自生成 100 个故事后,我们可以看到一些分布的位移:500 美元小费与 100000 美元奖金看起来更接近正态,且相较无小费基线分布拥有更低的均方误差(MSE)。
然后他又加入了 KS 检验辅助验证:零假设是“加小费”和“无小费”来自同一分布;若 p
这说明“给小费”确实提高了 AI 对提示词约束内容的服从度,AI 明明不能真正收到钱,为什么会对“小费”产生反应?
这个看似神奇的现象背后,其实蕴含着深刻的科学原理。
为什么“假装给钱”有用?
1
AI 如何“思考”?
大语言模型的工作原理可以简化为一个过程:给定前面的文字,预测下一个最可能出现的词。这就像一个超级复杂的“文字接龙”游戏。
举个例子:当我们输入“今天天气很”,AI 会根据训练经验预测下一个词最可能是“好”“热”或“冷”。
但这个过程远比想象中复杂!AI 不是简单地匹配词汇,而是在根据整个上下文的基础上进行预测。这就像一个超级聪明的学生,不仅要看题目,还要理解出题老师的意图。
这就是为什么提示词的设计如此重要——它们为 AI 提供了“思考”的框架,就像给 AI 戴上了“有色眼镜”,让它从特定的角度来看问题。
比如我们要求两个人写同一篇文章:
👤 普通版本:“写一篇关于气候变化的文章”
👨 专业版本:“你是一位资深环境科学家,请为《自然》杂志写一篇关于气候变化的权威综述文章,要求严谨、专业、有说服力”
显然,第二个人会写出质量更高的文章!这就像导演给演员不同的剧本,自然会有不同的表演效果。AI 也是如此——更详细、更具体的提示会引导 AI 生成更高质量的内容。这就像给 AI 换了一个“人设”!
回到给 AI 小费,道理也是一样的,当我们说“我会给你 20 美元小费”时,实际上是在告诉 AI:这个任务很重要,我期望高质量的回答,优质服务会得到回报,请认真对待这个请求。
这些信息改变了 AI 对任务重要性的“感知”,从而影响其生成策略。就像我们去海底捞时,告诉服务员“今天是我的生日”,他们便会更用心服务一样!
2
训练数据决定了 AI 的思考方式
从生成式 AI 的技术原理来看,“小费”现象的根源在于 AI 的训练数据,这些用于训练的海量文本就像 AI 的“成长环境”,决定了它的“三观”!
AI 就像一个超级学霸,在数万亿个词汇上进行训练。这些数据包含了人类文明的方方面面,简直是一个“数字图书馆”,包括新闻报道和学术论文、小说和诗歌、社交媒体对话、商业交流和客服对话、评论和反馈。
在这些文本中,“小费→优质服务”的模式无处不在,就像隐藏的“彩蛋”:
餐厅评论:“服务员态度很好,给了 20%的小费”;
旅游攻略:“导游很专业,额外给了小费表示感谢”;
商业文档:“为了获得更好的服务,建议适当给予小费”。
AI 通过统计学习发现了这样的模式:当文本中出现“小费”、“奖励”、“激励”等词汇时,后续的内容往往表现出更高的质量特征:更详细的描述,更专业的术语,更周到的考虑,更积极的态度。
所以 AI 并不理解金钱的概念,但它学会了这种语言模式与高质量输出之间的统计关联。就像一个不懂音乐的人,也能通过观察发现“掌声越热烈,演出质量越高”的规律!
当我们提出会给 AI 小费时,AI 就知道了我们是希望它给出更高质量的回答,而被设定为尽全力去满足人类需求的AI自然也会努力给出更高质量的回答。
看完这篇文章,你是不是对给 AI 发小费这个现象有了全新的认识?赶紧去试试给你的 AI 助手“发个小费”吧!
参考文献
[1]Does Offering ChatGPT a Tip Cause it to Generate Better Text? An Analysis:https://minimaxir.com/2024/02/chatgpt-tips-analysis/
本文为科普中国·创作培育计划扶持作品
出品丨中国科协科普部
监制丨中国科学技术出版社有限公司、北京中科星河文化传媒有限公司
作者丨田威 AI 工具研究者
审核丨于旸 腾讯玄武实验室负责人
来源:新浪财经