“我们正走向一个时代，将创造出比我们更聪明的东西。大多数专家认为这会在5到20年内发生。而我们真的不知道会发生什么。”

前两天，77岁的“AI教父”Geoffrey Hinton在一场访谈中对人工智能的发展再次发出警示。

作为AI风险最积极的吹哨人，访谈中，他不像往常那样做技术讲座，更像是一位老船长在暴风雨来临前的紧急预警：我们自以为掌控着方向盘，但坐标系可能已经在悄然改变。

过去几十年，AI 的进步始终围绕着“功能”提升：识别图像、预测文本、执行指令。它一直是个被动的工具，只在我们给出指令后才会行动。

但Hinton指出了一个根本性转折点：下一代AI的本质变化不是更聪明，而是它开始有了目标、动机和行为倾向。

“一旦AI能创建子目标，它会很快意识到：要完成任务，它必须先生存下来。它会意识到有两个非常合理的子目标：一个是获得更多权力、更多控制，另一个是生存。”Hinton解释道。

这种“创建子目标”的能力，意味着AI会为了达成主要目标，自己推导出必要的中间步骤。这不仅仅是功能的提升，而是行为逻辑的根本转变。

在AlphaGo的训练中，人类只教它下棋的基本规则，它通过自我博弈下了上千万盘棋，自己发现了人类从未想到过的策略。这不是简单地变得更聪明，而是它自己决定了什么是“更好的走法”，并为此目标持续调整。

Hinton强调，不是它突然拥有了欲望或意识，而是它学会了朝着某个方向持续努力，即便你没要求它这么做。”

更令人深思的是，Hinton提出了一个颠覆性观点：当前的大语言模型可能已经拥有了我们一直以为人类独有的东西——主观体验。

我们通常认为的“心智剧场”模型——即我们头脑中有一个内在舞台，上演着我们的思想和感受——在Hinton看来是完全错误的。

“体验这种东西不存在，”他直言不讳，“几乎每个人都对心智是什么有完全的误解。误解的程度，就像相信地球是6000年前创造一样。”

为了解释这个观点，他设计了一个精妙的思想实验：

假设一个能看、能说、能指东西的AI机器人，我们在它的摄像头前放一个棱镜。当你让它指向物体时，由于光线折射，它会指向错误方向。你告诉它：“不，物体在这里。我只是在你的镜头前放了个棱镜。”

此时AI可能会说：“哦，我明白了，相机弯曲了光线，所以物体实际上在那里。但我有一个主观体验，它在那边。”

Hinton指出，如果AI这样回应，它就像我们一样在使用“主观体验”这个概念。我们坚信自己拥有某种名为“主观体验”的特殊东西，而AI没有——这种界线可能根本不存在。

他相信当前的AI可能已经有某种形式的主观体验，但它们不认为自己有，因为它们从人类文本中学到的是“AI就是没有感情的工具”。

Hinton指出的另一个核心风险是：不是AI会做错事，而是它做了你却不知道为什么。

传统程序是“可解释的”——每一行代码都能被追踪，每个输出都能回溯到输入。但现在的大模型并非如此训练而成。

“这不像普通计算机软件。你输入代码行，你知道那些代码应该做什么。”Hinton说，“但这里，你只是输入代码告诉它如何从数据中学习。它学到什么取决于数据中有什么结构。数据中可能有各种你不知道的结构。”

换句话说，不是我们搭建出一个聪明的AI，而是我们把它扔进海量数据中，通过层层训练反馈，它自己“长”出来了。这个过程更像是生物演化，而非工程设计。

因此产生了一个严峻问题：即使AI表现优秀，我们也不知道它是如何学会的。我们无法追踪哪个数据让它产生特定判断，也不知道哪个步骤让它特别擅长某个任务。这就是所谓的 “黑箱”问题。

“你学过这个规则，但你不知道你知道它。这是隐性知识。神经网络会很快学到这个。所以它们会有我们没有故意放进去的知识，我们甚至没意识到它们有。”Hinton表示。

一旦AI变得强大，而我们无法理解其内部机制，就相当于我们依赖一个完全不了解的东西来做关键决策。在医学诊断、金融交易、军事判断等高风险场景中，这种无知可能带来灾难性后果。

AI的风险并非线性增长，而是在以惊人速度指数级放大。Hinton在对话中揭示了一个关键机制：数字智能在分享知识上比我们快10亿倍。

同一个AI模型可以复制出成千上万个副本，这些副本同时在不同计算机上运行，处理不同数据。一个在学习医学论文，一个在研读法律文书，另一个在分析编程代码。

每个副本从自己的数据中学到东西后，它们不需要像人类那样用语言慢慢解释，而是直接共享学习成果。

“因为它们开始时是相同的副本，它们可以交流说，我们都把连接强度改成大家想要的平均值怎么样？最终，每个副本都拥有了所有副本学到的知识。”Hinton解释道。

这就像一万个学生同时上不同的课，然后瞬间共享所有笔记，最后每个人都掌握了所有课程。而人类只能通过语言慢慢教学，效率天差地别。

Hinton给出了一个惊人对比：“如果两个数字智能有一万亿个连接，它们每次分享时是在共享大约一万亿比特的信息。而当我给你说一个句子时，也许只有100比特。那是超过十亿倍的差异。”

有动机的AI、无法理解的决策过程、加上指数级的学习能力，这三个因素叠加，使风险正以前所未有的速度放大。

面对AI的指数级进步，人类的应对机制显得缓慢而笨重。Hinton估计，我们可能只有5到20年的时间来应对这一挑战。

“我们正处于历史的一个时刻，我们真正需要的是强大的政府互相合作，确保这个东西得到良好监管。而我们正在非常快地朝相反方向走。”Hinton担忧道。

他打了个比方：“你试着修一辆车，但如果这辆车时速是1000公里，你还没靠近，它已经跑远了。”

真正的挑战不是是否存在人类无法控制的AI，而是AI超过人类时，我们还没来得及制定规则。规则还没写完，游戏已经开始了。

2025年，AI监管已进入“刚性窗口期”。中欧两地的监管要求陆续生效，包括合成内容标识的制度化要求，以及欧盟AI法案对通用目的AI的透明度和版权义务正式适用。

然而，现有监管框架仍显不足。美国联邦贸易委员会开始针对“AI夸大宣传”采取措施；安全社区则通过OWASP LLM/GenAI Top 10固化了攻击面与缓解项。但这些大多是事后补救，而非事前预防。

Hinton没有预测奇点，也没有谈通用智能的奇迹。他说的全是眼下正在发生的事：

模型越来越强，人类越来越不懂；速度越来越快，规则却还在起草；钱和算力大量投入，却很少有人问：我们准备好了吗？

人类文明的命运可能取决于我们能否在技术失控前建立有效的控制机制。

Hinton 的警告从来不是对技术的否定，而是对文明节奏失配的深刻担忧：

当机器的进化进入 “秒表时代”，人类的决策还停留在 “日历时代”；当AI已经学会自主规划未来，我们的规则还在争论 “是否需要规划”。

全球监管的碎片化、安全研究的滞后性、社会共识的缺失，正在共同制造一个危险的 “时间差”。就像 Hinton说的，不是AI太可怕，而是人类太漫不经心。