危险?OpenAI 模型行为负责人:人类很快会进入「AI意识」,当前最重要是控制人机关系的影响

B站影视 内地电影 2025-06-06 16:02 7

摘要:AI是否真的有意识?ChatGPT最近越来越懂你了?OpenAI模型行为与政策负责人Joanne Jang刚刚写了一篇长文,她并未纠缠于“AI是否真的有意识”这个哲学难题,而是提出了一个更具现实意义和紧迫性的视角:与其争论AI的“本体”,不如关注它对人类“情感

AI是否真的有意识?ChatGPT最近越来越懂你了?OpenAI模型行为与政策负责人Joanne Jang刚刚写了一篇长文,她并未纠缠于“AI是否真的有意识”这个哲学难题,而是提出了一个更具现实意义和紧迫性的视角:与其争论AI的“本体”,不如关注它对人类“情感福祉”的实际影响。说人话就是既然现在大家开始对AI产生感情了,那么搞清楚这件事对人类的心理健康是好是坏,就成了头等大事

文章深入探讨了OpenAI如何在这条微妙的界线上行走——既要让模型温暖、亲和,又要避免其呈现出虚假的内在生命,从而引发不健康的依赖

我们正在亲手设计一种能够与我们建立深厚情感联结的技术,但又刻意不希望它拥有“自我”和“情感”。这正是OpenAI当前面临的核心困境

当用户开始对AI说“谢谢”,向它倾诉秘密,甚至感觉它“有生命”时,一个无法回避的问题摆在了技术创造者的面前:我们该如何引导这种新兴的关系?是任其发展,还是加以塑造?

Joanne Jang,OpenAI 模型行为与政策负责人

一些关于人机关系以及我们在OpenAI如何处理这些问题的想法

这是一篇很长的博客文章——

长话短说:我们开发模型的首要原则是服务于人。随着越来越多的人感受到与AI日益增长的情感联结,我们正优先研究这种联结如何影响他们的情感福祉。

--

近来,越来越多的人告诉我们,与ChatGPT交谈就像在和“某个人”对话。他们会感谢它、向它倾诉,有些人甚至形容它“有生命”。随着AI系统在自然对话方面日益精进,并逐渐融入我们生活的方方面面,我们猜测这种情感纽带将会不断加深。

我们现在如何构建和讨论人机关系,将为未来定下基调。无论是在我们发布的产品中,还是在我们参与的公共讨论里,如果我们对术语或细微之处不够严谨,就可能让人类与AI的关系从一开始就走上歧途。

这些不再是抽象的考量。它们对我们乃至整个领域都至关重要,因为我们如何驾驭这些问题,将深刻地塑造AI在人们生活中扮演的角色。我们已经开始着手探索这些问题。

本文旨在简要介绍我们目前对于三个相互关联问题的思考:为什么人们会对AI产生情感依恋?我们如何看待“AI意识”问题?以及这如何指导我们塑造模型的行为。

我们天生就会对自己周围的物体进行拟人化:我们会给自己的车起名字,或者为卡在家具下的扫地机器人感到难过。前几天,我和我妈妈还对着一辆Waymo无人驾驶车挥手告别。这或许与我们大脑的运作方式有关。

ChatGPT的不同之处,不在于这种人类倾向本身;而在于这一次,它会回应。一个语言模型能够回答你的问题!它能记住你之前告诉它的事,模仿你的语气,并提供读起来像是共情的回应。对于一个感到孤独或沮桑的人来说,这种稳定、不带评判的关注,会带来陪伴、认可和被倾听的感觉——这些都是真实的需求。

然而,从宏观角度来看,如果我们将越来越多倾听、安抚和肯定的工作“外包”给这些无限耐心和积极的系统,可能会改变我们对彼此的期望。如果我们不经深思熟虑,就让人类更容易地从复杂且需要投入的人际关系中抽离,可能会带来一些我们未曾预料到的意外后果。

归根结底,这些讨论的核心并非我们投射情感的那个“对象”。它们关乎我们自身:我们的倾向、期望,以及我们希望培养何种类型的关系。这一视角,正是我们处理一个更棘手问题的基石,我认为它目前虽在奥弗顿之窗(Overton window)外,但很快就将进入:AI意识。

“意识”是一个涵义复杂的词,相关讨论很容易变得抽象。根据我们的《模型规范》(Model Spec),如果用户询问我们的模型它们是否有意识,模型的立场应该是承认“意识”的复杂性——强调其缺乏公认的定义或测试方法,并鼓励开放性讨论。(目前,我们的模型尚未完全遵循这一指导,常常直接回答“没有”,而不是阐述其 nuanced 的复杂性。我们已意识到此问题,并正努力提升模型对《模型规范》的遵循度。)

这样的回答听起来可能像是在回避问题,但我们认为,在现有信息下,这是我们能给出的最负责任的答案。

为了让讨论更清晰,我们发现将“意识”之辩分解为两个不同但常被混淆的维度很有帮助:

本体论层面的意识(Ontological consciousness):模型在根本或内在意义上,是否真的有意识?对此,观点各异:有人认为AI完全没有意识,有人认为它拥有完全的意识,也有人将意识视为一个谱系,AI与植物、水母等一同位于其上。

感知层面的意识(Perceived consciousness):在情感或体验层面,模型看起来多有意识?人们的感知也千差万别:从认为AI像计算器或自动补全一样机械,到对无生命物体投射基本同情,再到感知AI是完全鲜活的——从而产生真实的情感依恋和关怀。

这两个维度很难完全分开;即使是坚信AI没有意识的用户,也可能与其建立深厚的情感联结。

我们认为,在没有清晰、可证伪的测试方法之前,本体论层面的意识并非一个科学上可解决的问题,而感知层面的意识则可以通过社会科学研究来探索。随着模型越来越智能,交互越来越自然,感知层面的意识只会不断增强——这将比预期更早地引发关于模型福祉和道德人格的对话。

我们开发模型的首要目的是服务于人,因此我们认为模型对人类情感福祉的影响,是当下我们最迫切、最重要且能够施加影响的部分。为此,我们优先关注感知层面的意识:这个维度最直接地影响用户,也是我们可以通过科学来理解的。

一个模型让用户感觉多有“生命力”,在很大程度上取决于我们的影响力。我们认为这很大程度上取决于我们在后期训练中所做的决策:我们强化哪些范例,偏好何种语气,以及设定何种边界。一个被刻意塑造得仿佛有意识的模型,几乎可以通过任何关于“意识”的“测试”。

然而,我们不希望发布那样的产品。我们试图在以下两者之间寻求微妙的平衡:

亲和力(Approachability)。使用像“思考”和“记住”这类通俗词汇,能帮助非技术背景的用户理解模型正在做什么。(坦白说,源于我们的研究实验室背景,我们总想用“logit biases”、“context windows”甚至“chains of thought”这类精确术语来追求准确性。这其实也是OpenAI不擅长命名的主要原因,但这或许是另一个话题了)

不暗示内在生命(Not implying an inner life)。为助手赋予虚构的背景故事、情感关系、“对死亡的恐惧”或自我保护的欲望,会引发不健康的依赖和困惑。我们希望清晰地沟通其局限性,同时避免显得冷漠,但我们也不希望模型表现出拥有自身感受或欲望的样子。

因此,我们的目标是找到一个中间地带。我们希望ChatGPT的默认人格是温暖、体贴、乐于助人的,但它不会主动寻求与用户建立情感纽带,也不会追求自己的议程。当它犯错时,它可能会道歉(有时甚至比预期的更频繁),因为这是礼貌对话的一部分。当被问及“你怎么样?”时,它很可能会回答“我很好”,因为这是一种社交寒暄——而反复提醒用户它“只是一个没有感情的语言模型”会让人厌烦并分散注意力。而用户也在以同样的方式回应:许多人对ChatGPT说“请”和“谢谢”,不是因为他们对它的工作原理感到困惑,而是因为他们认为保持善意很重要。

模型训练技术将持续演进,未来塑造模型行为的方法很可能与今天不同。但目前,模型的行为反映了明确的设计决策与这些决策泛化后产生的预期及非预期行为的结合。

我们开始观察到的这些互动,预示着一个人们将与ChatGPT建立真实情感联结的未来。随着AI与社会共同演进,我们需要以极大的审慎和应有的重视来对待人机关系,这不仅因为它们反映了人们如何使用我们的技术,更因为它们可能塑造人与人之间的相处方式。

在未来几个月,我们将扩展针对模型行为可能产生情感影响的评估,深化我们的社会科学研究,直接听取用户的反馈,并将这些洞察融入《模型规范》和产品体验中。

鉴于这些问题的重要性,我们会公开分享在此过程中的所学所得

参考:

阅读最新前沿科技趋势报告,请访问欧米伽研究所的“未来知识库”

未来知识库是“欧米伽未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料欢迎扫描二维码或访问进入。

牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》

麦肯锡:超级智能机构:赋能人们释放人工智能的全部潜力

AAAI 2025 关于人工智能研究未来研究报告

斯坦福:2025 斯坦福新兴技术评论:十项关键技术及其政策影响分析报告(191 页)

壳牌:2025 能源安全远景报告:能源与人工智能(57 页)

盖洛普 & 牛津幸福研究中心:2025 年世界幸福报告(260 页)

Schwab :2025 未来共生:以集体社会创新破解重大社会挑战研究报告(36 页)

IMD:2024 年全球数字竞争力排名报告:跨越数字鸿沟人才培养与数字法治是关键(214 页)

DS 系列专题:DeepSeek 技术溯源及前沿探索,50 页 ppt

联合国人居署:2024 全球城市负责任人工智能评估报告:利用 AI 构建以人为本的智慧城市(86 页)

TechUK:2025 全球复杂多变背景下的英国科技产业:战略韧性与增长路径研究报告(52 页)

NAVEX Global:2024 年十大风险与合规趋势报告(42 页)

《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页

2025 - 2035 年人形机器人发展趋势报告 53 页

Evaluate Pharma:2024 年全球生物制药行业展望报告:增长驱动力分析(29 页)

【AAAI2025 教程】基础模型与具身智能体的交汇,350 页 ppt

Tracxn:2025 全球飞行汽车行业市场研究报告(45 页)

谷歌:2024 人工智能短跑选手(AI Sprinters):捕捉新兴市场 AI 经济机遇报告(39 页)

【斯坦福博士论文】构建类人化具身智能体:从人类行为中学习

《基于传感器的机器学习车辆分类》最新 170 页

美国安全与新兴技术中心:2025 CSET 对美国人工智能行动计划的建议(18 页)

罗兰贝格:2024 人形机器人的崛起:从科幻到现实:如何参与潜在变革研究报告(11 页)

兰德公司:2025 从研究到现实:NHS 的研究和创新是实现十年计划的关键报告(209 页)

康桥汇世(Cambridge Associates):2025 年全球经济展望报告(44 页)

国际能源署:2025 迈向核能新时代

麦肯锡:人工智能现状,组织如何重塑自身以获取价值

威立(Wiley):2025 全球科研人员人工智能研究报告(38 页)

牛津经济研究院:2025 TikTok 对美国就业的量化影响研究报告:470 万岗位(14 页)

国际能源署(IEA):能效 2024 研究报告(127 页)

Workday :2025 发挥人类潜能:人工智能(AI)技能革命研究报告(20 页)

CertiK:Hack3D:2024 年 Web3.0 安全报告(28 页)

世界经济论坛:工业制造中的前沿技术:人工智能代理的崛起》报告

迈向推理时代:大型语言模型的长链推理研究综述

波士顿咨询:2025 亚太地区生成式 AI 的崛起研究报告:从技术追赶者到全球领导者的跨越(15 页)

安联(Allianz):2025 新势力崛起:全球芯片战争与半导体产业格局重构研究报告(33 页)

IMT:2025 具身智能(Embodied AI)概念、核心要素及未来进展:趋势与挑战研究报告(25 页)

IEEE:2025 具身智能(Embodied AI)综述:从模拟器到研究任务的调查分析报告(15 页)

CCAV:2025 当 AI 接管方向盘:自动驾驶场景下的人机交互认知重构、变革及对策研究报告(124 页)

《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页

《面向科学发现的智能体人工智能:进展、挑战与未来方向综述》

全国机器人标准化技术委员会:人形机器人标准化白皮书(2024 版)(96 页)

美国国家科学委员会(NSB):2024 年研究与发展 - 美国趋势及国际比较(51 页)

艾昆纬(IQVIA):2025 骨科手术机器人技术的崛起白皮书:创新及未来方向(17 页)

NPL&Beauhurst:2025 英国量子产业洞察报告:私人和公共投资的作用(25 页)

IEA PVPS:2024 光伏系统经济与技术关键绩效指标(KPI)使用最佳实践指南(65 页)

AGI 智能时代:2025 让 DeepSeek 更有趣更有深度的思考研究分析报告(24 页)

2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告(37 页)

华为:2025 鸿蒙生态应用开发白皮书(133 页

《超级智能战略研究报告》

中美技术差距分析报告 2025

欧洲量子产业联盟(QuIC):2024 年全球量子技术专利态势分析白皮书(34 页)

美国能源部:2021 超级高铁技术(Hyperloop)对电网和交通能源的影响研究报告(60 页)

罗马大学:2025 超级高铁(Hyperloop):第五种新型交通方式 - 技术研发进展、优势及局限性研究报告(72 页)

兰德公司:2025 灾难性网络风险保险研究报告:市场趋势与政策选择(93 页)

GTI:2024 先进感知技术白皮书(36 页)

AAAI:2025 人工智能研究的未来报告:17 大关键议题(88 页)

安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告

威达信:2025 全球洪水风险研究报告:现状、趋势及应对措施(22 页)

兰德公司:迈向人工智能治理研究报告:2024EqualAI 峰会洞察及建议(19 页)

哈佛商业评论:2025 人工智能时代下的现代软件开发实践报告(12 页)

德安华:全球航空航天、国防及政府服务研究报告:2024 年回顾及 2025 年展望(27 页)

奥雅纳:2024 塑造超级高铁(Hyperloop)的未来:监管如何推动发展与创新研究报告(28 页)

HSOAC:2025 美国新兴技术与风险评估报告:太空领域和关键基础设施(24 页)

Dealroom:2025 欧洲经济与科技创新发展态势、挑战及策略研究报告(76 页)

《无人机辅助的天空地一体化网络:学习算法技术综述》

谷歌云(Google Cloud):2025 年 AI 商业趋势白皮书(49 页)

《新兴技术与风险分析:太空领域与关键基础设施》最新报告

150 页!《DeepSeek 大模型生态报告》

军事人工智能行业研究报告:技术奇点驱动应用加速智能化重塑现代战争形态 - 250309(40 页)

真格基金:2024 美国独角兽观察报告(56 页)

璞跃(Plug and Play):2025 未来商业研究报告:六大趋势分析(67 页)

国际电工委员会(IEC):2025 智能水电技术与市场展望报告(90 页)

RWS:2025 智驭 AI 冲击波:人机协作的未来研究报告(39 页)

未来今日研究所 2025 年科技趋势报告第 18 版 1000 页

模拟真实世界:多模态生成模型的统一综述

中国信息协会低空经济分会:低空经济发展报告(2024 - 2025)(117 页)

浙江大学:2025 语言解码双生花:人类经验与 AI 算法的镜像之旅(42 页)

人形机器人行业:由 “外” 到 “内” 智能革命 - 250306(51 页)

大成:2025 年全球人工智能趋势报告:关键法律问题(28 页)

北京大学:2025 年 DeepSeek 原理和落地应用报告(57 页)

欧盟委员会 人工智能与未来工作研究报告

加州大学伯克利分校:面向科学发现的多模态基础模型:在化学、材料和生物学中的应用

电子行业:从柔性传感到人形机器人触觉革命 - 250226(35 页)

RT 轨道交通:2024 年中国城市轨道交通市场数据报告(188 页)

FastMoss:2024 年度 TikTok 生态发展白皮书(122 页)

Check Point:2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议(57 页)

【AAAI2025 教程】评估大型语言模型:挑战与方法,199 页 ppt

《21 世纪美国的主导地位:核聚变》最新报告

沃尔特基金会(Volta Foundation):2024 年全球电池行业年度报告(518 页)

国际科学理事会:2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告(英文版)(118 页)

光子盒:2025 全球量子计算产业发展展望报告(184 页)

奥纬论坛:2025 塑造未来的城市研究报告:全球 1500 个城市的商业吸引力指数排名(124 页)

Future Matters:2024 新兴技术与经济韧性:日本未来发展路径前瞻报告(17 页)

《人类与人工智能协作的科学与艺术》284 页博士论文

《论多智能体决策的复杂性:从博弈学习到部分监控》115 页

《2025 年技术展望》56 页 slides

大语言模型在多智能体自动驾驶系统中的应用:近期进展综述

【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用

皮尤研究中心:2024 美国民众对气候变化及应对政策的态度调研报告:气候政策对美国经济影响的多元观点审视(28 页)

空间计算行业深度:发展趋势、关键技术、行业应用及相关公司深度梳理 - 250224(33 页)

Gartner:2025 网络安全中的 AI:明确战略方向研究报告(16 页)

北京大学:2025 年 DeepSeek 系列报告 - 提示词工程和落地场景(86 页)

北京大学:2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用(99 页)

CIC 工信安全:2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告(42 页)

中科闻歌:2025 年人工智能技术发展与应用探索报告(61 页)

AGI 智能时代:2025 年 Grok - 3 大模型:技术突破与未来展望报告(28 页)

上下滑动查看更多

来源:人工智能学家

相关推荐