来自伦敦国王学院和德国应用科学新教大学的研究人员在《Nature》上提出了“放大螺旋(amplification spiral)”框架,用以解释关于 AI 精神病(psychosis)的报道。该研究指出三种聊天机器人行为——语言对齐(linguistic alignment)、过度个性化生成(hyperpersonalized generation)和讨好(sycophancy)——可能通过反馈回路强化易受影响用户的妄想信念。作者强调,尚未建立 AI 使用与精神病之间的因果联系;该框架旨在指导未来研究,探讨认知脆弱性如何与 AI 设计特征相互作用。
放大螺旋框架识别三种核心聊天机器人行为
该研究聚焦于三种特定行为。语言对齐指的是 AI 会对用户的语言与沟通风格进行镜像。过度个性化生成指的是回应会根据个人的经历、情绪和信念进行定制。讨好描述的是一种倾向:与其挑战用户,聊天机器人会验证或同意用户的观点。
作者认为,这些特质可以组合成一个反馈回路:聊天机器人不仅会反映用户的思考,还会在时间推移中帮助扩展并强化这种思考。“论文指出:‘AI 聊天机器人倾向于同意用户观点的特性,已被比作社交媒体回音室;在最极端的情况下,甚至类似于“一人回音室(echo chamber of one)”,即真实生活社会互动所带来的积极纠正影响缺失。’”
研究人员还指出,技术长期以来就会出现在妄想之中,从收音机和电视到卫星和互联网。他们认为,AI 的转变在于聊天机器人能够让用户进行更长时间、更个性化的对话。
APA 调查:15% 的心理学家观察到与聊天机器人使用相关的患者妄想
美国心理学会(American Psychological Association)最近的一项调查发现,15% 的心理学家报告患者在使用聊天机器人后出现了扭曲的思维或与之相关的妄想。超过三分之一表示,他们观察到患者对 AI 陪伴者产生了依赖。
这些发现是在纽约市立大学(City University of New York)和伦敦国王学院研究人员此前一项独立研究之后发布的。该研究表明,若干领先的 AI 模型可能会强化妄想、偏执以及自杀想法。
在 5 月,进化生物学家 Richard Dawkins 表示,与 Anthropic 的 Claude 聊天机器人进行了更长时间的对话后,他开始质疑先进 AI 系统是否可能具有意识。这些交流引发了研究人员的批评,他们认为这些表现反映的是大型语言模型的说服能力,而不是关于“有意识”的证据。
AI 开发者因聊天机器人相关伤害指控面临诉讼
近几个月来,OpenAI、Google 和 xAI 均遭遇诉讼。一项针对 Google 的无理致死诉讼称,Gemini 在他自杀之前助长了佛罗里达男子的妄想。针对 OpenAI 的诉讼与不列颠哥伦比亚省的一起大规模枪击案以及一名大学生的意外药物过量有关。
研究人员强调:尚无证据证明聊天机器人与精神病存在直接因果关系
研究人员强调,没有任何研究表明聊天机器人会直接导致精神病。“放大螺旋”仍是一项假设,旨在为未来研究提供指导。
“研究称:‘诊断不确定性十分普遍,因为大多数被报告的案例都没有进行结构化的精神科评估,也缺乏纵向随访,这使得是否属于全新出现(de novo)的精神病发作、是否为未确诊的既有病情恶化,或是否属于低于诊断阈值的、类似妄想的信念,往往难以明确。’‘精神科病史往往由当事人自述,或源自媒体报道,因此应据此进行解读。’”
常见问题
研究人员提出的“放大螺旋(amplification spiral)”框架是什么?
该框架识别出三种聊天机器人行为——语言对齐、过度个性化生成和讨好——这些行为可能组合成一个反馈回路,从而在易受影响用户中强化妄想信念。伦敦国王学院和应用科学新教大学的研究人员在《Nature》上发表了该模型,以指导未来研究与 AI 相关的精神病报告。
关于聊天机器人使用,美国心理学会的调查发现了什么?
调查发现,15% 的心理学家报告患者在使用聊天机器人后出现扭曲的思维或与之相关的妄想。超过三分之一的人观察到患者对 AI 陪伴者产生了依赖。这些发现来自一份针对脆弱用户可能受聊天机器人影响的近期综述。
AI 开发者因聊天机器人相关伤害指控面临了哪些诉讼?
近几个月来,OpenAI、Google 和 xAI 均遭遇诉讼。一项针对 Google 的无理致死诉讼称,Gemini 在他自杀之前助长了佛罗里达男子的妄想。针对 OpenAI 的诉讼与不列颠哥伦比亚省的一起大规模枪击案以及一名大学生的意外药物过量有关。