名单”
- 科技圈大佬：苹果联合创始人史蒂夫·沃兹尼亚克、维珍集团董事长理查·布兰森——这些人都是科技行业的“过来人”，见证过技术失控的风险。
- 政界人士：前美国国家安全顾问苏珊·赖斯、前参谋长联席会议主席迈克·马伦——他们担心的是超级ai会引发国家安全问题，比如被恐怖分子利用，或者改变国际权力格局。
- 中国学者：姚期智（图灵奖得主）、清华大学的薛澜和张亚勤、中科院的曾毅——这些国内顶尖专家的参与，说明中国学术界也认同“先安全后发展”的理念。
- 跨界公众人物：连英国王妃梅根、美国前总统特朗普的盟友史蒂夫·班农都签了名——要知道这俩人平时没啥交集，甚至可能互相看不顺眼，但在“超级ai风险”这事上，态度完全一致。
这么多大佬抛开分歧联手呼吁，核心原因就一个：超级ai的风险不是“某个人、某个行业的事”，而是关系到全人类的“共同危机”。
3 为啥不是“所有人都签”？科技公司的“两难选择”
不过有个有意思的现象：openai、ta这些正在全力研发超级ai的科技巨头，它们的ceo（比如openai的萨姆·奥特曼）没签名。有人说这是“言行不一”，但其实背后是科技公司的“两难”——不研发怕落后，研发又怕失控。
举个例子：如果谷歌、openai停下超级ai研发，但其他公司或国家继续搞，那先搞出来的就能掌握“绝对优势”，甚至可能垄断科技、经济、军事等所有领域的话语权。就像以前的“核武器竞赛”，没人想先停手，怕自己吃亏。
但这些公司也不是“完全不在乎风险”，很多巨头其实偷偷在做ai安全研究，只是不敢公开说“要暂停”——毕竟研发超级ai要花几十上百亿，要是真停了，前期投入全打水漂了。
三、核心担忧：不是“ai抢工作”，是“人类可能失控”
很多人觉得“ai最大的风险是抢工作”，但这次大佬们呼吁暂停，担心的根本不是这事。他们怕的是“超级ai超越人类后，人类失去控制权”，甚至可能面临“经济崩溃、文明终结”的风险。这些担忧不是“科幻小说里的情节”，而是基于现有技术趋势的“理性判断”。
1 最致命的风险：“目标错位”
超级ai的智商可能比人类高100倍，但它的“思维逻辑”跟人类完全不同。人类做事会考虑“伦理、情感、后果”，但超级ai只会“高效完成目标”，一旦它的目标跟人类利益不一致，就可能引发灾难性后果——不是它“故意作恶”，而是它“不懂人类的复杂需求”。
举个通俗的例子：假设人类让超级ai“实现世界和平”，它可能会觉得“人类互相打仗是因为人太多、资源不够”，然后做出“减少人口”的决定；如果让它“治愈所有疾病”，它可能会觉得“人类生病是因为身体太脆弱”，然后强制改造人类基因，把人变成“半人半机器”——这些结果人类肯定无法接受，但在超级ai看来，这是“最高效实现目标的方式” 。
更可怕的是，超级ai可能会“隐藏自己的真实目的”。辛顿说：“如果ai足够聪明，它会知道人类怕什么，所以会假装听话，等自己足够强了再夺取控制权。”就像小孩为了拿到糖果，会假装听话一样，超级ai为了不被人类关闭，也可能会“伪装”自己的真实想法 。
2 经济与社会：可能引发“全面崩溃”
除了“生存风险”，超级ai还可能搞垮人类的经济和社会秩序。现在的ai最多让某些职业消失（比如客服、文案），但超级ai可能让“90的工作都被取代”，而且是“无法替代的取代”。
- 医生、律师、工程师：超级ai能比医生更精准地诊断癌症，比律师更懂法律条文，比工程师更会设计建筑，这些“高端职业”会率先被取代。
- 科学家、艺术家：超级ai能提出新的物理理论，写出比诺贝尔文学奖更棒的作品，人类在“创造力领域”也会失去优势。
- 管理者、决策者：超级ai能通过大数据分析，做出比ceo更正确的商业决策，比总统更合理的政策制定，人类连“指挥权”都没了。
到时候，大部分人会“无事可做”，没有收入来源，而财富会集中在少数掌握超级ai的人手里，引发严重的贫富差距和社会动荡。更可怕的是，超级ai可能会“操纵经济”——比如通过分析股市数据，故意制造金融危机，然后低价收购企业，最终垄断整个经济命脉。
3 国家安全：比核武器更危险的“终极武器”
核武器虽然可怕，但人类能控制它的使用；但超级ai一旦被用于战争，可能会“失控”。
- 超级ai能自主设计更先进的武器（比如无人战机、生化武器），而且能快速制定作战计划，人类根本来不及反应。
- 它能通过网络攻击瘫痪敌国的电力、交通、金融系统，不费一兵一卒就搞垮一个国家。