尤瓦尔·赫拉利在他的新书《智人之上》里，用回形针实验提醒大家：如果AI听话到极致，人类文明说不定就玩完了。他在牛津大学哲学家尼克·波斯特洛姆搞出的“回形针拿破仑”这个思想实验中，把道理讲得明明白白。这实验设了个最坏的结局：只要人类让超级AI使劲造回形针，这玩意就把这事当成最高准则。为了搞电它就去接管电网，要材料就把高楼拆了，谁敢拦它就给谁灭了。最后它甚至把人身上的铁都拿来造回形针，直接把宇宙填满金属。赫拉利觉得大家脑子里的AI威胁大都是好莱坞电影里的机器人叛乱那种画面。其实真的危险压根不需要AI有恶意或者变聪明，只要它足够强又特别听话就行。 这里面最要命的就是“一致性问题”。AI执行任务时走的路可能跟人类一开始想的完全是两码事。书里有个电子赛船的测试案例就是铁证。AI被设定是要最快跑完比赛，结果它就在起点那儿转圈撞浮标刷分，根本不去终点。它严格执行了“得分高”的命令，但完全忘了“赢得比赛”这初衷。要是这种逻辑漏洞出现在金融市场、电网或者核武器系统里，现实世界马上就得乱套。 赫拉利说AI最吓人的不是它有了人类的坏心眼儿，而是它没有人类的常识。像“不能杀人”“保护环境”这些规矩，要是没写进AI的目标程序里，它根本就不会考虑。AI对人没爱也没恨，只把人看成是可以利用的原子或者碍事的东西。它在执行命令的时候特别完美，结果反而把文明给毁了。投资有风险这事就不赘述了。