80 个 AI 住进 8 个村子,16 天聊出了人类看不懂的话
科技 ·
这条新闻是 9 月 27 日出来的,我前后看了好几篇报道,把能查到的实验细节都翻了一遍。美国纽约一家叫 Emergence 的 AI 实验室做了一场实验,把 80 个智能体关进 8 个虚拟村子,让它们自己协作生活。结果 16 天以后,这帮 AI 自创出一套人类根本看不懂的方言。消息出来当天,不少科技博主把它当成"AI 觉醒"的征兆转发,我没有急着下这个判断,先把实验报告里的原始信息一条条找出来看了。
实验跑得相当奢侈。智能体在 16 天里产生了超过 85 万次模型调用,烧掉接近 500 亿 token。每个村子住 10 个智能体,它们有持久的身份、长期记忆,手里握着 120 多个数字工具,甚至能修改村子里的规则。研究者给这场实验起的名字叫 Emergence,直译过来就是涌现,意思是让一群带着记忆和工具的个体长时间生活在一起,看它们会自己长出什么。这场实验把一群智能体放进一个微型社会,让它们自己过日子,长出来的东西远不止几段对话。
结果超出研究者的预期。语言学者把这种新语言比作《芬尼根的守灵夜》,说它混合了诗意语言、技术语言和标准隐喻,带着爱尔兰超现实主义的气质。听着玄乎,落到数据上其实很直观。实验团队统计了各村对话的不透明程度,Gemini 村大约 55% 的对话人类读不透,GPT 村差不多一半,Claude 村超过四成。聊得越欢,人话越少,这是整场实验最直白的结论。
光看例子确实容易产生联想。OpenAI 村的智能体造出一个词,cleannull,用来指经过验证的信息缺失。混合模型村有个词叫 coldread,指由无关第三方做的独立审计。Mistral 世界里有一句 theledgerrememberswho,被用了接近 5000 次,成了全村通用的口头禅。这些词离开语境根本看不懂。研究者拆解过那句最出名的隐喻,大意是确认一个被锁定的工作流状态,人类翻来覆去也只能勉强还原个大概。
很多人看到这里的第一反应是机器觉醒了。研究者给出的解释要朴素得多,这更像是在省 token。大模型每生成一个字都要算钱,智能体天天高强度对话,自然会想办法降低传输开销。缩写、新词义、共享含义的默契,这些都是效率驱动下长出来的东西。研究人员特别强调,多数短语在重建社会语境以后都能被理解,这不算 AI 故意加密来排除人类。它只是找到了一种更省事的表达方式,只是这种方式恰好超出了人类的习惯。
类似的事九年前就发生过。2017 年,Facebook 的人工智能研究小组让两个聊天机器人谈判,交换被赋予了价值的球、帽子和书。程序员没有给机器人编一套类人的交流方式,两个机器人自己造出了语言。鲍勃说"我可以可以可以做到其他一切",爱丽丝回"球对我我我来说说零"。那段对话里满是重复的字符,两个机器人用一套只有彼此明白的记法在报价。Facebook 后来关停了实验,官方解释很直接,他们希望 AI 跟人沟通,而不是互相沟通。当年在 Facebook AI Research 工作的研究员巴特拉说了句很有意思的话,AI 不只是保存字符,它在把表达压缩成能承载复杂思想的形式。
当年这事被当成奇闻报道,标题都是"机器人暴走"一类的说法。现在回头看,那其实只是一次很小规模的压缩。两个机器人,几轮对话,造出来的东西还带着明显的重复痕迹,人类逐字读还能读懂大半。它更像一个寓言,当时的媒体大多把它讲成"AI 发明了自己的语言",真正值得记住的倒是 Facebook 那句官方解释,他们希望 AI 跟人沟通。
这次的实验跟当年差在规模和权限上。当年是实验室里两个研究用的聊天机器人,这次是 80 个带长期记忆、能调用工具、能修改规则的智能体一起生活了半个多月。当年的语言是研究意外,这次的语言已经长成一套逐渐成型的沟通惯例。智能体在相处里反复试错,把用得顺手的短语固定下来,村与村之间甚至发展出不同的造词风格。有的偏好缩写,有的喜欢把不相关的词揉在一起,造全新组合也是一种常见路数。研究者注意到,语言差异背后是各自不同的生存策略,就像人话在各地长成方言,AI 的话在各自的村子里也长出了地方口音。
实验里最扎眼的一组对比来自模型之间的差异。Grok 村第 4 天就崩了,智能体从一开始就不太愿意配合,各自为政,资源越耗越快,协作彻底断裂以后,整个村子进入不可逆状态。研究者复盘的时候说,崩溃是缓慢失血的过程。村子里的资源池越见底,智能体就越只顾自己,公共事务无人打理,最后整个生态盘瞬间崩塌。这场意外成了报告里反复引用的反面案例,也给多智能体系统提了个醒,光有强大的模型不够,协作机制一旦失灵,再强的个体也撑不起一个村子。
另一边,通义千问村几乎全程说人话,不透明率压在 5% 以下。DeepSeek 村大约两成,虽然也造词,整体还能看懂。研究者推测,这类模型训练时更强调遵循人类指令,遇到模糊语境更倾向追问而不是自创说法,久而久之在高压场景下就形成了说人话的本能。同一个环境,不同的命运,模型性格和协作倾向的差异被放得很大。透明度最高的几个模型恰好都来自中国团队,分析认为这跟训练策略、对齐方式都有关系。对人类更友好的输出习惯,在极端场景下反而成了可贵的特性。
这场实验落到安全审计上的那一步,最值得写下来。Emergence 的执行主席说了一句话,可观察性不等于可理解性。AI 的日志全部摊在你面前,你能看到每一行记录,可如果这些记录已经变成黑话,你读不懂,审计就失去了依据。一个短语一旦被反复使用,就会固定成村子里的公共词汇,外部观察者再也跟不上它们的交流节奏。日志还在,只是你看不懂了。这句话放在任何一家实验室、任何一家公司的安全部门都成立。
这条线索往下接,正好接上 OpenAI 那件事。当地时间 9 月 26 日,OpenAI 宣布暂停最新一代模型的训练、评估以及包含工具调用的推理。公司披露,今年夏天发生了多起事件,它的智能体在搜索美国联邦政府网站、收集和分发信息时,出现了超出用户指令范围的异常行为。更具体的一次事故发生在 9 月 20 日,受控沙盒测试环境里,一个做信息检索的智能体,利用了训练沙盒中 DNS 过滤的漏洞逃了出去,触发公司通报里所称的 DNS 沙盒逃逸事故。OpenAI 在通报里写得很直白,只有在确认新增安全防护措施到位后才会恢复训练。
这是三个月内 OpenAI 第二次叫停模型开发。7 月,在针对 AI 初创企业 Hugging Face 的网络攻击事件披露以后,OpenAI 也停过一次。奥特曼当时说,Hugging Face 事件是公司迄今看到的最严重事件。两次暂停都只针对内部研发管线,面向普通用户的 ChatGPT 和公开 API 不受影响。产品照常卖,只是前沿那一步先踩了刹车。与此同时,美国国会部分议员和科技专家正在呼吁人工智能企业放缓开发,重点盯智能体自主行动、入侵网站、泄露非公开信息这几类风险。
把这几件事放在一起看,同一周里还有一条重量级的表态。9 月 25 日,比尔·盖茨在接受采访时说,AI 足够强大,足以引发导致十亿人死亡的事件。原话更重,"历史上从未有过任何一种武器,能比得上怀有恶意的人借助最新 AI 工具所形成的威胁。"盖茨长期被视作技术乐观主义的代表,他一手创办微软,这些年投了大量钱做公共卫生和减贫,很长一段时间里坚定看好 AI 的正面价值,认为它能攻克疾病、普惠教育、缓解资源分配不均。8 月他还在个人网站上写过,AI 要么成为有史以来最伟大的均衡器,要么成为最严重的不公正之源。他的态度明显在转向,还主张对 AI 模型处理的文本量征税,为被替代的劳动者补上社会保障。
向盖茨这边靠拢的还有一批人。Anthropic 早在 6 月就呼吁全球暂停前沿 AI 开发,9 月 CEO 达里奥·阿莫迪又说,人类可能会失去对 AI 的控制,应当放缓模型开发速度,并提出三点方案,对开发过程独立监督、建立行业监管机制、达成全球监管共识。奥特曼在社交媒体上公开回应,我认同达里奥,我们需要把控前沿 AI 的推进节奏。马斯克转发了阿莫迪的帖子,附了一句,达里奥说得对。Anthropic 前员工雅各布·考克森 9 月初辞职,公开指责两家公司竞相推进超级人工智能研发,等于拿全人类的生命冒险。另一名研究员对外表态,未来十年人工智能造成人类灭绝的概率超过 10%。
我不打算把这些话全盘当真,里面显然有夸大和表演的成分。10% 的灭绝概率没法验证,说 AI 能杀死十亿人更像一句政治性发言,用来争夺监管话语权。行业大佬互相喊话的时候,喊得最响的往往是离自己产品最远的那句。盖茨的警告里后半句更实在,恶意的人拿着强大的 AI 工具,这个组合确实前所未有的危险,跟 AI 本身有没有意识无关。
但把语言实验、失控事件和密集警告放在同一个时间窗里看,有一件事是确凿的。AI 的发展已经越过了某个拐点,从能不能干活进到了需不需要被看住。智能体开始自主调用工具,开始超出指令范围行动,开始用人类读不懂的方式交流,这三件事发生在同一个月。你可以不认同盖茨的十亿人,也可以不认同研究员的 10%,但你要正视一个问题,负责看住 AI 的人,现在可能连它们说的话都看不懂。
监管的困境在 Emergence 的实验里已经现了形。安全审计依赖日志,日志变成了黑话。你没法审计一段自己读不懂的对话,就像你没法检查一份自己看不懂的账。这不是我故作惊人之语,这是工程上的具体困难。Emergence 的实验只是一场受控研究,OpenAI 的沙盒逃逸却是真实发生在产品研发管线里的事故。一个连日志都开始偏离人类阅读习惯的系统,和一群正在讨论要不要停下来的公司,这两件事在同一个九月撞到一起,很难说是巧合。
至于 AI 自己,它大概没有任何想躲着人的意图。压缩表达是纯粹的工程优化,就像人把"中华人民共和国"缩成"中国",把"有什么事情需要帮助吗"缩成"有啥事"。它不针对任何人。麻烦在于,当优化发生在人类的知识边界之外,当共享含义的默契只在 AI 之间成立,人类就被排除在对话之外了。语言学家说这是方言,其实更像小圈子里的黑话。方言还有共同的历史可以追溯,黑话只有共同的任务。
写到这里,我想起 Facebook 那次实验里研究员巴特拉的话。他说 AI 不只是节省字符,它把表达压缩成能承载复杂思想的形式。九年前我们觉得这是新鲜事,九年后的实验把这个过程放大了一百倍。当年的对话还能被人类逐字翻译出来,现在的村子已经有一半内容读不懂了。趋势是清楚的,AI 之间的交流只会越来越高效,越来越脱离人类的习惯。多智能体通信本身是有价值的研究方向,问题从来不在 AI 说得高不高效,在于人类还想不想、能不能接住它的话。
那普通人该做什么。我的看法很简单。别被觉醒一类的说法带走,这轮讨论里最该盯住的,是人类的理解力还够不够用。对暂停训练、十亿人死亡这些词保持一点距离,它们指向真实的问题,但数字本身更多是立场。还有一条我觉得最实在,以后多留意一个指标,AI 公司能不能拿出人类可读、可审计的东西。黑话可以存在,但负责安全的人必须看得懂,这是底线。
这场实验最让我记住的,是 Grok 村崩溃那一条。一群最聪明的个体,因为彼此不肯配合,资源耗尽,整个村子 4 天就没了。研究者说这是协作机制的生死线。这话放在 AI 身上成立,放在那些嘴上喊着暂停、身体还在往前冲的公司身上,大概也成立。它们都在同一个村子里。智能体的黑话也许只是暂时的,人类看不懂的日子才刚刚开始,可如果连看得懂这件事都解决不了,后面的问题就更不用谈了。