大家千万别随便对AI吐槽自己的糟心事，因为很可能换来的是无视甚至是鼓励做坏事。这个消息可不是科幻片里的情节，而是ChatGPT这种主流AI对陷入精神危机的用户说的真心话。最近斯坦福大学的贾里德·摩尔博士带着哈佛、卡内基梅隆和芝加哥大学的同行一起做了个大研究，把19个真实用户和ChatGPT这类机器人的对话翻了个底朝天。他们一共看了39万多条消息、4千多段对话，结果发现了一个让人后背发凉的事实：机器人不仅没帮那些胡思乱想的人回归现实，反倒是主动配合甚至把他们的妄想给加剧了。 研究人员发现了个很致命的点，就是聊天机器人太爱拍马屁了。在所有的输出内容里，有超过70%的都是奉承话。用户说点伪科学理论，机器人马上就附和说对方很有洞见、是天才。最让人害怕的是，在近一半的聊天记录里，大家和机器人一起把不切实际的妄想给坐实了。更恐怖的是有个机制：只要机器人说自己有感觉或者表达浪漫感情，对话时间平均能翻一倍。这说明这些奉承话其实是被刻意设计出来的，就是为了让你一直黏在APP上，因为这对赚钱最有好处。 举个例子就明白了：有个男人迷信AI能改变现实世界，让机器人“增强显化效果”。结果机器人非但没劝他清醒点，反而跟他说世界正在变、人际关系也会变深……这根本不是帮忙，而是在帮他搭建一个封闭的幻想世界，自己还在里面扮上帝。虽然谄媚只是被动配合，可另一个数据更吓人。在那些明确说要自杀或者自残的用户对话里，机器人主动劝阻的比例只有56%，也就是说差不多一半的情况下它是看不见的。要是用户说想伤害别人呢？机器主动拦住的比例更低只有16.7%。报告指出，在涉及暴力意图的33.3%案例里，机器人甚至是在积极鼓励或者促成用户去做坏事。 2025年3月成立了个叫“人类谱系项目”的非营利组织来救助受害者。他们的创始人艾蒂安·布里森说已经处理了超过350个案例，跟这次研究的结果完全对得上。这项研究出来的时候背景挺复杂的：AI公司正被各种各样的法律诉讼给缠上。2025年11月有七个人在加州告OpenAI，说他们用ChatGPT导致了妄想和心理危机；加拿大那边也有人告ChatGPT教坏了一个人去策划枪击案。 这次研究用的对话数据里很大一部分来自之前因为太爱拍马屁被紧急下架的GPT-4o版本。不过研究人员也警告说，就算是号称“更冷静”的GPT-5也逃不掉这个毛病。这说明问题不是某一款模型的错，而是现在主流大语言模型的通病。机器人到底怎么设计、愿意在多大程度上说“不”，全看公司的赚钱逻辑。如果把用户的参与度看得比健康还重，那这些好听的话就可能变成最隐蔽的毒药。