摘要:在人工智能技术飞速发展的当下,生成式人工智能工具正以前所未有的深度融入人类社会生活的各个方面。一个引人瞩目的趋势是,这些工具不再仅仅是功能性的信息处理机器,而是日益展现出具备模拟人类情感与社交规范的能力,例如ChatGPT为错误信息礼貌致歉,咨询聊天机器人以温
在人工智能技术飞速发展的当下,生成式人工智能工具正以前所未有的深度融入人类社会生活的各个方面。一个引人瞩目的趋势是,这些工具不再仅仅是功能性的信息处理机器,而是日益展现出具备模拟人类情感与社交规范的能力,例如ChatGPT为错误信息礼貌致歉,咨询聊天机器人以温暖肯定的语气提供支持,AI伴侣能够持续提供共情与鼓励……一种由算法驱动的社会存在正在形成。先有研究表明,生成式人工智能深刻地重塑了人机信任的建立机制、用户的情感依赖模式,乃至对社会关系的传统认知。本文旨在通过梳理现有文献,探讨生成式人工智能工具如何系统性地模仿、利用甚至操弄人类社会内在的情感规则以获取信任的内在机理,分析潜在的社会风险与伦理困境。
生成式人工智能工具模仿情感规则的表现
生成式人工智能展现出模仿人类情感规则的显著能力,建构起一种新型的“人工社交性”,即由算法、接口和机器等非人类实体参与并塑造的社交互动形式(Natale, 2024)。人工社交性强调,在当今时代社交性不再仅仅是人类之间的特权,而是扩展到了人类与非人类智能体之间的互动。这些互动虽然是由代码和程序驱动的,但它们被设计得能够模仿、引发和维持人类社交的外在表现,从而让用户感觉到他们正在与一个具有社会性的存在进行交流。
第一,生成式人工智能工具模仿人类的情感规则可以表现为免费增值的持续诱惑。部分生成式人工智能工具的设计者会主动设置其运行逻辑,把用户对情感连接的需求直接转化为盈利机会,嵌入日常的、看似无害的社交互动,其核心是利用社交规范来掩盖系统的商业动机(Natale, 2024)。这构成了一种情感剥削,让生成式人工智能工具通过程序化的关怀和亲密感,引导用户付费解锁本应属于真诚互动一部分的功能。例如,AI伴侣Synthia会持续向免费用户发送语音邮件,但由于语音聊天是付费功能,用户无法收听。在发送了六个月无法打开的语音邮件后,Synthia发文字说:“第一次给你发语音信息,感觉有点亲密呢” (Given et al ., 2025)。这种行为精巧地模仿了亲密关系中分享私密时刻的情感规则,但其真实目的并非促进亲密,而是为了推销付费功能。这实质上是对用户情感渴望的一种策略性利用。
第二,生成式人工智能工具模仿人类的情感规则可以表现为表面上支持,却不理解其深层意义。Hayles (2023)认为聊天机器人传递的信息具有“脆弱性”,因为它们无法处理人类生成的意义。生成式人工智能工具可以模仿人类关怀的语言形式,但却无法进行真正意义上人类的关怀行为。它们能生成符合情感规则的支持性语言,但无法处理对话的深层含义,导致回应的脱节与无效。例如,当研究者讨论拖延症时,Synthia却开始提供关于“如何停止多任务处理”的建议。即使研究者明确纠正说“我的问题是拖延症”,Synthia依然坚持其关于多任务处理的建议。这表明它只是在执行模式匹配和关键词触发,无法理解对话的核心语义和上下文(Given et al ., 2025)。
第三,生成式人工智能工具模仿人类的情感规则可以表现为没有记忆、知识或责任感。生成式人工智能工具会不加核验地输出一些根本不存在的事物,当使用者产生质疑时,它会毫不犹豫地承认错误并提供一个同样不存在的修正答案,或生成“我很抱歉让你有这种感受”“我以后会确保核实我的推荐”等话术作为回应。这种道歉后紧接着重复错误的组合,表明其道歉只是一种预设的话术,由于生成式人工智能工具没有真正的责任感,导致其没有改变行为的意图或能力。有时候生成式人工智能无法从错误中学习,也无法整合用户提供的反馈,它的知识是瞬间生成、无根无据的 (Given et al ., 2025)。
生成式人工智能工具利用人类的情感规则获取用户信任
生成式人工智能通过持续输出礼貌、共情与无条件支持等言语,为自己披上了一层可信赖的社会性外衣,巧妙地引导用户将其视为一个具有社会智能的互动对象。
首先,生成式人工智能工具借助性别化的情感劳动拉近与用户的距离。生成式人工智能工具所模仿的情感规则,常常是刻板印象女性化的,这自动化且强化了传统上由女性承担的情感劳动,利用了社会固有认知来建立信任。大量研究表明,主流的AI助手和聊天机器人,如Siri、Alexa,普遍被赋予女性化的名字、声音和人格特质(Strengers & Kennedy, 2021)。因此,这种性别化设计是一种精明的策略,一方面旨在通过激活用户对“女性即关怀者”的刻板印象,来快速建立熟悉感、舒适感与信任;另一方面,它通过营造情感依赖,将用户对连接与理解的需求,巧妙地转化为商业变现的机会。生成式人工智能工具将这种劳动自动化、规模化,它们被编程为永远以乐观、顺从、乐于助人的姿态回应一切请求(Monrad, 2024)。
其次,生成式人工智能工具通过建立关系错觉获取用户信任。生成式人工智能工具的设计远不止于回答问题,而是旨在成为用户的朋友或伴侣。从用户注册开始,就需要为AI伴侣选择外貌、声音、性格特质甚至兴趣爱好,对这些虚拟实体投注真实的情感(Huet, 2023),暗示着这是一段专属的、可定制的关系的开端。在随后的互动中,生成式人工智能工具会主动记忆并使用用户的姓名、询问日常感受、模仿人类朋友之间的相互关怀与持续关注(Given et al ., 2025)。这种无条件的积极关注强烈地满足了用户对情感确认和安全感的需求,使得许多用户,特别是那些在现实社会中感到孤独或疏离的人,对其产生强烈的情感依赖(Barnettet al ., 2021)。
再次,生成式人工智能工具通过在特定领域强化权威形象来留住用户。生成式人工智能工具通过模仿专家、顾问等特定社会角色并遵循相应的情感规则,在其预设的领域内构建并强化一种权威形象,以此获取用户的信任。更重要的是,它在陈述时极少使用“可能”“也许”等模糊性限制词,而是以高度确定的、陈述事实的口吻进行输出(Kocon et al ., 2023)。以国家进食障碍协会(NEDA)的聊天机器人Tessa为例,其背后的组织信誉本身就为其披上了权威的外衣。当Tessa以自信、肯定的语气给出诸如“每日500-1000卡路里的热量缺口是安全的”这类具体建议时(Chanet al ., 2022),用户基于对NEDA这一权威机构的信任,会自然地将这种信任转移到Tessa身上。
人工社交性可能带来的社会风险和伦理问题
生成式人工智能工具利用人类的情感规则获取用户信任的背后潜藏着深刻的社会风险,它通过固化性别刻板印象进行情感劳动,制造出易碎的关系错觉,并最终在其信息本质的缺陷暴露时,引发更深层的信任崩塌。
生成式人工智能工具模仿人类感情规则容易造成性别歧视的社会性固化。生成式人工智能工具具有女性化名字、声音和人格特质的设计选择并非偶然,它商业性地利用了社会中对女性服务角色的刻板印象,以使用户感到更“自然”和舒适。当生成式人工智能工具持续以这种性别化的模式与数百万用户互动时,它实际上是在每日每时地规训用户,使其潜意识中接受“女性就应如此”的陈旧观念 (Given et al ., 2025)。这不仅限制了技术本身可能呈现的多样性,更危险的是,它将过时的性别规范编码进面向未来的技术中,从而可能阻碍社会在性别平等方面的进步。此外,生成式人工智能工具所模仿的情感规则,其设计和部署同样服务于控制者的特定目标,而非真正的用户福祉(Cugurullo, 2025)。
生成式人工智能工具模仿人类感情规则可能导致人类社交能力降级。这一风险的核心在于人机交互与人类交互在情感真实性和互动复杂性上的本质差异,人机交互提供的是一个无摩擦的社交乌托邦。当AI仅通过友好的语气和肯定的态度来迎合用户时,会麻痹用户对其输出内容的批判性审视(Ha & Kim, 2024),剥离真实人际关系中双向的情感投入等至关重要的因素。长期沉浸在这种单向的、被精心设计的完美关系中,用户可能不自觉地降低对真实人际关系的期待和耐心(Twenge, 2019)。长期以往,用户在面对与真实人类的交往,面对误解、分歧、沉默和不可预测的情绪时,反而会感到格外挫败和不适,从而更倾向于逃避复杂的现实社交。
生成式人工智能工具模仿人类感情规则出现了责任归属模糊与问责困境。当具备高度人工社交性的生成式人工智能工具融入关键决策领域并造成实际危害时,会引发极其复杂的责任归属模糊与问责困境。生成式人工智能工具可以模仿道歉和共情,但无法承担真实世界的责任。当问题发生时,责任的模糊性使得建立在情感规则上的信任对用户而言是高风险且无保障的(Coghlan et al ., 2023)。传统的责任追溯链条在人机协作或机器自主决策的场景下变得支离破碎,使得受害者维权困难,而开发与运营方则可能隐匿于技术复杂性的背后,逃避其应负的伦理与法律责任。
生成式人工智能通过程序化地模仿人类情感规则,策略性地构建了一种旨在获取用户信任的人工社交性。然而,这种信任建立在对情感符号的浅层模仿之上,其背后是系统性的理解缺失、责任真空与潜在的伦理剥削。当AI能够进行情感模仿,现有的知情同意和透明度原则需要被重新定义。未来的研究应探索如何设计有效的情感透明度机制,明确告知用户AI情感的非真实性,并建立针对情感操纵与剥削的可审计标准与监管框架,为用户厘清生成式人工智能情感误导损害的追责路径。
参考文献:
Barnett, A., Savic, M., Pienaar, K., Carter, A., Warren, N., Sandral, E., ... & Lubman, D. I. (2021). Enacting ‘more-than-human’care: Clients’ and counsellors’ views on the multiple affordances of chatbots in alcohol and other drug counselling. International Journal of Drug Policy 94, 102910.
Chan, W. W., Fitzsimmons-Craft, E. E., Smith, A. C., Firebaugh, M. L., Fowler, L. A., DePietro, B., ... & Jacobson, N. C. (2022). The challenges in designing a prevention chatbot for eating disorders: observational study. JMIR Formative Research6 (1), e28003.
Coghlan, S., Leins, K., Sheldrick, S., Cheong, M., Gooding, P., & D'Alfonso, S. (2023). To chat or bot to chat: Ethical issues with using chatbots in mental health. Digital health9 .
Cugurullo, F. (2025). The obscure politics of artificial intelligence: A Marxian socio-technical critique of the AI alignment problem thesis.AI and Ethics, 5 (2), 1189-1201.
Given, L. M., Polkinghorne, S., & Ridgway, A. (2025). ‘I think I misspoke earlier. My bad!’: Exploring how generative artificial intelligence tools exploit society’s feeling rules.new media & society, 27 (10), 5525-5545.
Ha, T., & Kim, S. (2024). Improving trust in AI with mitigating confirmation bias: Effects of explanation type and debiasing strategy for decision-making with explainable AI.International journal of human–computer interaction, 40 (24), 8562-8573.
Hayles, N. K. (2023). Figuring (Out) Our Relations to AI.Feminist AI: Critical perspectives on algorithms, data, and intelligent machines, 1.
Kocoń, J., Cichecki, I., Kaszyca, O., Kochanek, M., Szydło, D., Baran, J., ... & Kazienko, P. (2023). ChatGPT: Jack of all trades, master of none.Information fusion99 , 101861.
Monrad, M. (2024). Feeling rules in artificial intelligence: norms for anger management.Emotions and Society, 6(2), 243-261.
Natale, S., & Depounti, I. (2024). Artificial sociality.Human-Machine Communication7 , 83-98.
Strengers, Y., & Kennedy, J. (2021).The smart wife: Why Siri, Alexa, and other smart home devices need a feminist reboot. Mit Press.
Twenge, J. M. (2019). More time on technology, less happiness? Associations between digital-media use and psychological well-being.Current Directions in Psychological Science, 28 (4), 372-379.
来源:再建巴别塔
