AI奇点：能力超越控制

真正的断层并非机器超越人类之时

真正的断层，不在于机器何时在能力上超越人类，而在于技术能力的复合增长速度超过了机构吸收和消化的速度。

在最近一次风险委员会会议上，问题直截了当：我们的人工智能（AI）风险披露是否依然准确？

答案却并不简单。自上次审查以来，技术发生了实质性变化。系统能够处理更长的任务，使用更多的工具，在更少的人工监督下运作，并直接参与软件和研究的开发。然而，风险框架并未以同样的速度演进。

这并不意味着必然出现了故障。这正是问题所在。董事会被要求批准一个控制环境，该环境是为一种技术设计的，但其能力特征已经超出了其底层假设的范围。

这正是“奇点”辩论的起点：不应从预测机器何时超越人类的观点出发，而应从一个不那么神秘、但紧迫得多的治理问题开始：当人工智能的能力复合速度快于机构能够吸收、衡量和控制的速度时，会发生什么？

这种断层不需要智能爆炸、特定的日期或对人工通用智能（AGI）定义的共识。它已经是一个控制问题。

通常被混淆的三种对话

公众关于人工智能的许多争论之所以混乱，是因为将三个不同的概念视为一体。

Capability is what an artificial intelligence system can do. It is experiential, testable, and is changing rapidly.

Autonomy is how much part of the decision-making and action cycle can operate without direct human intervention. This is at the heart of the current governance challenge. An artificial intelligence system that generates an answer is one thing; a system that determines the next step, accesses tools, performs actions, evaluates results and continues to run is a completely different thing.

The Singularity is a speculative fault: the point at which AI-driven improvements become self-reinforcing enough that traditional human predictions become unreliable.

These three are not interchangeable. Directors need not believe that a technological singularity is imminent to realize that increasing autonomy has created a different control environment. Similarly, some people may believe that the capabilities of artificial intelligence will ultimately have a transformative impact, but do not believe that an explosion of intelligence is inevitable.

This distinction is crucial because governance cannot wait until the third question is answered before taking action on the second question.

A closed loop has not yet been formed, but this does not mean it is irrelevant

The strongest evidence in support of this argument is also the least sensational. Cutting-edge artificial intelligence laboratories are increasingly entrusting part of their artificial intelligence development to the artificial intelligence system itself. Anthropic now describes a progression: from humans writing code, to coding agents writing and editing large amounts of code, to agents running code and delegating work to other agents. Anthropic reported that as of May 2026, more than 80% of the code it has incorporated into its production code base was written by Claude.

But the important qualification is What has not happened yet .

The research direction is still dominated by humans. The closed loop is not fully autonomous. Anthropic made clear that recursive self-improvement has not yet occurred in a fully autonomous manner and is not inevitable. Sam Altman similarly described the current state as a "larva" stage of recursive self-improvement, while admitting that this is different from an artificial intelligence system's autonomous rewriting of itself.

This honesty makes the governance argument stronger, not weaker.

The relevant question is not whether the closed loop is closed, but how much of the closed loop has shifted from human execution to machine execution-and whether the agency's controls have adjusted accordingly.

Governance follows different clocks

Regulation illustrates the same rhythm.

美国政府围绕某些前沿模型建立了一个自愿框架，包括在发布前政府访问受管制的模型，以及用于确定模型是否达到前沿阈值的机密基准测试流程。该框架明确未采取强制许可或事前审批。（白宫）

与此同时，美国国家标准与技术研究院（NIST）正在开发关于代理身份和授权的实用方法，包括识别、授权、审计、不可否认性以及针对提示注入的控制措施。（NIST计算机安全资源中心）

方向意义重大。治理工具正在围绕能够行动的系统进行重新设计，而不仅仅是生成信息的系统。

金融监管机构也使董事会的责任变得同样明确。英国金融服务管理局（FCA）、英格兰银行和财政部表示，公司应确保其董事会和高级管理人员充分理解前沿人工智能风险，以便设定战略方向并监督控制职能。（FCA）

这并不是监管机构失败的证据。这是结构性现实的证据：技术首先发生变化；机构随后正式化其应对措施。

因此，董事会不能将监管确定性作为采取行动的前提。

真正的问题可能是吸收差距

正是在这里，“奇点”对话变成了一个企业问题。

一个组织可能拥有非凡的人工智能能力，但在结构上无法吸收它。

一家金融机构可能部署了一个能够进行复杂分析的代理，但其控制框架假设每个重要建议都由人类分析师做出。

一家零售商可能在定价、库存和客户参与度方面自动化决策，而问责制仍然围绕人类经理组织。

一家科技公司可能允许人工智能系统以前所未有的速度生成和测试软件，而安全审查、变更管理和事件响应仍然围绕人类开发周期设计。

能力已经改变。机构却没有。

我在审计和风险委员会、金融服务、零售、媒体、奢侈品、体育和技术领域的经验强化了同样的模式：能力可以同时出现在任何地方，而吸收率根据监管、遗留基础设施、劳动力结构和控制成熟度的不同而存在巨大差异。

这种差异很重要。从风险和承保的角度来看，我看到人工智能风险停止成为白皮书并开始成为保费定价依据的那个节点。保险公司、投资者、监管机构和董事会最终都会提出类似的问题：组织能否证明其理解并控制了其所产生的风险敞口？

治理是否应该与人工智能一样快？

在这里，我想对自己提出的论点提出挑战。

显而易见的回应是让治理跑得更快。但更快的治理并不自动等同于更好的治理。如果控制措施比高管理解它们的速度还要快，治理就会变成官僚主义。如果每一项人工智能能力都需要另一个委员会、审批层、仪表板和政策例外，组织可能会创造出另一种风险：使负责任部署过于缓慢从而失去战略可行性的风险。

因此，目标或许不应该是“与技术同步的治理”，而应该是“足以维持控制的治理速度”。

这一区分很重要。董事会面临的正确问题可能不是：“我们是否批准了这一人工智能能力？”而可能是：“自上次批准以来，能力、自主性、访问权限或后果特征发生了什么变化？我们的控制措施是否相应调整？”

这是一个更难的问题，也是一个更有用的问题。

治理工具

大多数关于人工智能的评论都以警告结束。董事会需要更实用的东西：一个假设地面会移动的机制。

答案不是更好地预测奇点何时可能发生，而是一个动态治理门槛，用于衡量机构是否仍具备控制已部署内容的能力。

该工具应具备五个特征：

1. 明确的阶段关口：人工智能项目应通过评分标准推进，而不是叙事性的状态更新。应明确评估能力、自主性、访问权限、控制覆盖范围、韧性和问责制。
2. 部分积分：组织需要看到他们在哪些方面有所改进，而不将进步误认为是就绪状态。
3. 硬性通过阈值：如果未达到关键控制要求，乐观情绪不应产生覆盖。
4. 与分数分离的决策里程碑：董事会可能有意识地接受某种风险。这是合法的治理行为。但判断应保持可见，作为判断而非伪装成数字。
5. 更快的刷新频率：如果能力在季度董事会会议之间发生实质性变化，季度报告在结构上无法提供足够的可见性。重大前沿人工智能项目可能需要每周刷新。

我在一个实时数字银行项目中运行这种模式。可转移的经验教训很简单：当环境快速移动时，治理必须衡量移动，而不仅仅是记录它。

因此，董事会应该能够回答以下问题：

• 系统现在能做哪些在上次审查中做不到的事情？
• 它可以采取哪些不需要人类直接干预的决策或行动？
• 它可以访问哪些系统、数据、凭证和第三方？
• 哪些控制措施在这些行动之前、期间和之后发挥作用？
• 有哪些证据表明这些控制措施有效？
• 剩余风险发生了什么变化？
• 机构吸收这种能力的能力是否与能力本身同步？

如果管理层无法回答这些问题，问题就不再仅仅是人工智能成熟度问题，而是治理成熟度问题。

董事会应辩论的问题

奇点最终可能被证明是一种智能断层。但董事会无需解决这一哲学问题。

有一个更迫切的断层值得治理：机器能力的复合速度快于机构控制速度的可能性。

其背后存在着合理的辩论空间。也许答案是更强的治理。也许答案是设计更好的治理。也许在某些情况下，答案是直到机构能够吸收该能力之前，不要部署它。

最后这一立场会让一些技术领袖感到沮丧。这应当如此。治理的目的不是让部署变得舒适。

但治理也不应成为机构瘫痪的借口。挑战在于知道两者的区别。

因此，董事会的问题不是：“机器何时会超越我们？”而是：“在我们知道机构能够吸收它之前，我们愿意治理多少自主性？”

这是一个董事会可以回答的问题。而且，与奇点的日期不同，这个问题不能被推迟。

奇点是一个关于机器的问題。治理缺口是一个关于我们自己的问题。