EN ▼
Favorites
My Favorites
View All
Market Cap Price 24h%

Disclaimer: Content does not constitute investment advice. Trading involves risks—please invest with caution!

Former DeepMind researcher warns: As superintelligence transcends security research, artificial inte

2026-09-16 00:18:21
Bookmark

前Google DeepMind安全研究员警告:AI可能危及人类生存

另一位前实验室研究人员认为,严重危害可能在五年内出现。

核心要点

Chughtai于7月离开DeepMind,并表示超级智能可能在未来几年内出现。他指出,对齐研究落后于能力增长,他支持协调放缓而非停止AI发展。前DeepMind研究员Josh Engels认为,五年内存在巨大危害的风险,而Anthropic和OpenAI的高管也支持放缓发展的呼吁。

Chughtai的AI警告

Chughtai是一名专注于通用人工智能安全和对齐的研究工程师,他于7月离开DeepMind,并于本周发布了他的警告。他表示,AI实验室可能在未来几年内构建出超级智能系统,这些系统可能在各个领域超越人类,同时仍难以与人类目标保持一致。

Chughtai表示,核心问题在于“对齐”(alignment)。他写道:“我真诚地相信,AI有可能导致全人类的毁灭,而我们可能正在耗尽避免这一结果的时间。”

他说,目前训练先进系统以可靠追求人类目标的方法仍然“极其原始”,而前沿能力的提升速度远远快于研究人员对于“对齐”理解的深化。他并不希望停止AI的发展。相反,Chughtai希望公司之间能够协调行动,减缓竞争步伐,并提高关于前沿系统如何构建和测试的透明度。

Anthropic的安全推动

Chughtai的警告紧随Jacob Coxon本月早些时候辞职之后。Coxon曾在Anthropic和OpenAI工作过三年。Anthropic的对齐科学主管Evan Hubinger随后表示,他认为在未来十年内,AI可能导致全人类毁灭的概率超过10%。

Engels也曾参与DeepMind的安全团队工作。他在9月12日表示,在拒绝了Anthropic和OpenAI的报价后,他加入了评估非营利组织METR,原因是他认为五年内出现巨大AI危害的可能性令人“恐惧”。

Anthropic首席执行官Dario Amodei曾敦促公司控制能力提升的速度,OpenAI首席执行官Sam Altman也在争论扩大到主要实验室时表达了类似立场。这一共识意义重大,因为现在的警告不仅来自离职的安全研究人员,还来自运营主要AI实验室的高管。

目前的警报标志着自2022年初以来的快速转变。当时Chughtai开始从事AI相关工作,并将当时的系统描述为远不如今天的前沿模型强大。在过去的四年里,辩论已从长期的安全理论转向对自主性、对齐以及安全研究能否跟上能力提升速度的具体担忧。

Disclaimer:

All content published on this website, including hyperlinks, related applications, forums, blogs, and other media accounts, originates from third-party platforms and their users. CoinMarketInsight makes no representations or warranties of any kind regarding the website or its content. All blockchain-related data and materials are provided for informational and research purposes only and do not constitute financial, legal, or investment advice. Users and third parties are solely responsible for the content they publish. CoinMarketInsight shall not be liable for any losses arising from the use of this website. You should exercise caution and conduct your own independent research, review, analysis, and verification before making any decisions.

Read Full Article
More News
TOP

TOP