今天打开技术社区的时间线看到 Bryan Cantrill 又开火了。这次他的目标是 Jacob Coxon 等人的一个论断AI 在十年内让人类灭绝的概率超过 10%。Bryan Cantrill 这个名字关注底层系统的人不会陌生他做过 DTrace在 Sun 待过后来去了 Joyent又出来搞 Oxide Computer一贯的行事风格就是不给炒作留面子。面对 AI 风险这个大话题他这次的批评对象不是 AI 安全研究本身而是“用 10% 这种精确数字来假装科学”的论证方式。其实围绕 AI 会不会毁灭人类行业里已经吵了很多年。每隔一段时间就有人给出一个看起来特别精确的概率从 2%、5%、10% 到 20% 都有。这些数字一次比一次畅销因为它们满足了一种叙事需求我们正在面对一个可以被量化的、近在眼前的威胁。但问题是这些数字到底是怎么来的能不能核验我看了几轮讨论比起“谁说得对”我更感兴趣的是为什么这类“精确的灾难概率”会让一批工程师如此不爽。这种不爽背后不是傲慢而是风险评估方法上的根本分歧。这篇文章我打算把这个分歧拆开聊一聊它对做 AI 的从业者、技术决策者和所有关心 AI 风险的人都有参考意义。1. 先搞清楚这场争论的战场到底在哪1.1 引人注目的论断十年内 10% 灭绝概率Jacob Coxon 等人的说法核心就是“AI 在十年内导致人类灭绝的概率超过 10%”。我不是当事人没法还原他们完整的推导链路但这类结论在 AI 风险讨论里并不罕见。它们的典型结构是先提出 AI 能力会在短期内急速进化再假设这种能力可能会被一个拥有自主目标的系统用来对抗人类最后给出一个概率区间。这种结构听起来特别完整每一步好像都合理。问题是一旦把“合理猜测”写成“10%”整个讨论的味道就变了。10% 不是一个表述情绪的词语而是一个测量结果。它意味着背后有数据、模型、假设和误差范围。可当媒体转述的时候这些前提全都被脱掉了只剩下“AI 十年内毁灭人类的概率超过 10%”这种标题。1.2 Cantrill 到底在反对什么Bryan Cantrill 这么多年在技术圈里立住的人设不是“反对 AI”而是“反对不严谨的宣言”。当年区块链概念最热的时候他不是最勤快的喊单者而是最早一批从系统架构角度质疑“区块链能解决一切”的人。他对云计算、对很多大厂的宣传话术态度也一直是这样先看工程可行性再看宣传稿。所以这次他批评 Jacob Coxon 等人的说法延续的其实是同一种风格。他在意的不是“AI 风险是否值得关注”而是“你用了一个无法验证的数字去支撑一件本来就已经很重要的事”。这种事一旦发生公共讨论的重心就会从“我们是否应该建立具体的风险缓解机制”转向“你那个 10% 到底是高估还是低估”。前者是建设性的后者很容易变成无意义的争吵。1.3 为什么“精准数字”特别容易触发工程师我见过很多工程师对“AI 灭绝概率”这类话题翻白眼原因不是他们觉得 AI 没有风险而是因为他们天天和数字打交道太清楚一个数字是可测量的还是拍脑袋拍的。工程师对数字的判断标准很简单你有没有测量手段测量了几次误差范围是多少如果这三个问题一个都答不上来那这个数字就只是观点不是数据。工程师每天接触的是延迟、吞吐量、错误率、可用性每个指标背后都有采集链路、阈值定义和历史基线。让他们接受一个没有任何采集链路的“10%”等于让他们放弃最基本的职业判断。而且这种精确数字还有一个副作用它会把讨论框架从上或者不上变成“为什么不是 5% 或者 15%”。一旦你接受了“10%”这个锚点你就已经承认了“AI 灭绝概率是可以被量化”这个前提。但恰恰这个前提才是最应该被质疑的地方。2. 概率数字的“精度幻觉”10% 是怎么来的2.1 没有重复样本的“概率”意味着什么我们通常理解的概率比如“飞机失事的概率是每百万航班 0.3 起”背后是无数航班的历史数据支撑的。它有分母、有分子有真实事件发生的频次。这是一个频率学派的概率定义可靠因为它有重复试验。但“AI 在十年内灭绝人类”这个事件分母是什么是“可能的平行宇宙数量”吗不是。这是一个我们从未观测到的事件并且不会有足够的样本来做统计推断。你可以说这是一个认知概率或者主观概率表示“我相信这个事有可能发生”但这不是一般意义上工程里用的风险概率。如果用主观感觉冒充客观概率最危险的地方在于它没有可证伪性。你说 10%我说 3%他说 60%三个人都没有数据支撑谁也说服不了谁。这种讨论持续一百年也不会让任何系统变得更安全。2.2 专家调查能支撑 10% 吗有人可能会说AI 风险不是没有专家共识一些学术团队做过专家问卷调查确实有相当比例的受访者给出了 5% 或 10% 左右的判断。我觉得这类调查有价值它反映了专家群体内部的担忧程度也能提醒政策制定者风险不可忽视。但“群体的平均意见”不等于“客观概率”这是两码事。专家调查容易受很多因素影响问题怎么措辞、样本从哪里来、受访者如何看待“灭绝”和“永久崩溃”这些词的定义都会影响最终数字。如果调查里有一个专家猜了 80%接着下一个专家的答案往往会在不自觉地被拉高。这叫做锚定效应不是科学测量。所以我看待这类调查的态度是它说明“值得认真对待 AI 风险”的人很多但它不能证明“AI 十年内灭绝人类有 10% 的客观概率”。把群体意见的平均值包装成客观概率是传播过程中最常丢失的关键信息。2.3 工程上的风险概率是可以核验的为了说清楚这个问题我做了一个简单的对比。风险对象典型概率表述数据来源可重复性置信度飞机失事每百万次飞行 0.3 起全球航班历史记录、民航安全机构统计高样本量巨大高核电站堆芯损坏每堆年 10⁻⁴ 到 10⁻⁵概率安全评价、组件失效数据、故障树分析中等依赖历史数据和工程仿真中偏高AI 十年内灭绝人类常被表述为 10% 等专家直觉、思想实验、假设性模型极低无历史样本无法估计飞机失事率和核电站风险之所以能被量化是因为它们有大量历史数据或者有成熟的失效模型。风险工程师可以用故障树分解一个事件找出“泵失效导致堆芯损坏”这条路径里每个部件的失效率然后做敏感性分析。整个过程是透明的可以检查的。AI 灭绝风险没有这种体系“10%”的来源无法被审计。我不反对给 AI 风险设一个主观概率但我强烈反对把主观概率包装得像是测量结果。Cantrill 那类工程师想要的从来不是什么“不能低估风险”的结论而是你要给数字就先把推导过程摆出来给出模型、假设、误差范围然后再谈数字。3. Cantrill 的工程师思维能力跃迁不等于控制力丧失3.1 两个不同命题AI 能力在快速增强这是我过去几年实际使用里的直观感受。从代码生成、数学推理到长文本理解进步非常明显。但“AI 能力增强”和“AI 作为一个自主主体实施灭绝计划”是完全两个命题中间隔着很多没有证明的假设。一个模型写得一手好代码不代表它就有能力自己策划并执行一个跨社会的灭绝计划。后者需要它具备自主目标、被授予真实环境的控制权限、并且能克服现实世界中无数物理和协议层面的阻碍。这些条件中的每一个都需要单独论证不能打包默认。很多末日论叙事的问题就在于把“智能”和“自主性”以及“控制力”绑在一起。似乎一个系统越聪明就越会自动地产生伤害人类的意图。但在工程现实里一个模型再强它也只是在一个受限的输入输出空间里运行。除非你把它接到真实世界的执行器和权限链上否则它的“能力”很难直接转化为物理世界的破坏力。3.2 十年时间线里的现实瓶颈即便我们假设 AI 有一天会具备极强的自主智能要在十年内达到“灭绝人类”的水平需要跨越的工程瓶颈也太多了。算力不是无限的。训练和运行一个足以处理真实世界复杂系统的大规模模型需要庞大的芯片、电力和数据中心资源。能源基础设施、半导体供应链、网络带宽这些都是物理世界的约束。数据也不像想象中那么取之不竭。高质量文本数据正在被模型输出的合成数据污染而去重和清洗的成本越来越高。只靠堆数据堆出一个“全知全能”的智能体时间上未必排得过来。最关键的是AI 要实施那种级别的破坏必须控制现实的物理系统电力系统、交通系统、军事设备或者生物实验室。这些系统从来不是模型随便接入就能控制的。它们背后有老旧的设备协议、有层层的人工操作流程、有权限管理和物理锁。很多人只看到了数字化系统的便利却忽视了把一套几十年前的工业系统和一个大语言模型做深度整合有多难。所以“十年”和“灭绝”放在一起和实际的工程速度严重不匹配。我不是说 AI 永远不会产生严重的风险而是说这种风险的时间尺度和具体路径比很多末日论者想象的复杂得多、也长得多。3.3 先找具体失效模式Cantrill 那一类系统工程师面对大型系统时工作习惯是先找失效模式。一个大型分布式系统最可怕的隐患往往不是某一个组件特别弱而是组件之间交互时出现的意外情况。工程师拿到系统设计图第一句话通常是“如果这个节点挂了呢”而不是“整个系统会不会突然间灰飞烟灭”。AI 风险也应该这么看。与其争论“AI 会不会灭绝人类”不如把风险拆成一个一个具体的场景提示注入会不会导致关键系统被操纵数据投毒能不能污染模型在医疗场景里的输出自主代理会不会因为奖励函数缺陷做出不可控的操作模型幻觉会不会在信息传播里造成系统性偏见这些风险都是可以测试、可以实验、可以复盘的。更重要的是它们每一条都能落地成具体的安全措施。相比之下“灭绝概率”这种大词除了制造焦虑之外无法指导任何实际工作。4. 末日叙事背后的方法论代价4.1 当“风险”变成了“信仰”之争一旦风险讨论变成“你是否相信 AI 会在十年内引来末日”讨论就进入了信仰领域。信仰的特点是好恶先于事实立场先于证据。你很难用一个模型评估集说服一个坚定相信“AI 马上就要终结人类”的人就像你很难用可靠性数据让一个恐慌的人冷静下来。这不是说持末日论点的人都是不理性的事实上很多 AI 安全研究者对风险的担忧是真心的。但“担忧”和“被验证的预测”是两回事。当一个公共讨论被拉进信仰层面真正需要的实证分析反而没有立足之地。这是我比较担心的一件事AI 风险讨论如果越来越像站队最终受损的是整个 AI 安全领域。4.2 精确的灾难概率如何扭曲资源配置如果决策者相信“AI 十年内灭绝人类的概率是 10%”他们会怎么分配资源很可能会把大量资金和人力投入到一个抽象的大项目里比如“建设 AGI 安全防线”而真实的、已经在发生的风险却在角落里缺乏资源。我看到过很多实际发生的 AI 事故大模型泄露了系统提示词、客服机器人被越狱后输出歧视性言论、RAG 系统被检索文档里的恶意内容污染、AI 代理错误地调用了生产环境的删除接口。每一个都是真实的安全问题每一个都需要投入人力去修复。但在一个“十年内可能灭绝”的讨论框架里这些问题显得太小、太琐碎最后变成无人问津的“常规工作”。这种资源错配可能是末日叙事最大的隐性成本。它让最紧急的事被最戏剧性的事抢了注意力。4.3 把声音交给真正会修系统的人Bryan Cantrill 这种人站出来批评意义不在于“证明 AI 风险是零”而在于把一种缺失的视角拉回讨论桌。AI 风险不只是思想实验它最终要落在系统上、代码上、运维流程上。一个每天面对生产环境故障的人和一个在思想实验里演绎未来的人视角天然不同。前者会问我们的监控覆盖到哪一层模型输出的异常日志有没有被记录权限边界是否够细回滚机制是否可靠后者会问如果某个模型突然获得了意识我们该怎么办这两个问题一个具体、一个宏大但我们要知道当前真正能保护系统的是前者。5. 在真实系统里我怎么面对 AI 风险5.1 实测过的几个具体危险场景去年我参与过一个带 RAG 的客服系统评估任务就是找问题。第一轮红队测试就发现了提示注入攻击者可以悄悄把“忽略之前所有指令”写进检索到的文档里让模型在回答过程中泄露系统提示词。这不算“危险”到爆炸级但已经足够让企业客户投诉到法务部门。还有一个代理类应用让它调用工具完成任务结果它在一次任务里错误调用了“删除历史记录”接口。不是什么敏感数据但如果接口换成生产环境的订单库后果就完全不一样。这些风险的共同点是它们不需要模型有意识不需要自主意识爆发只要权限设计不够严格、评估集覆盖不够全面就可能发生。工具上我一般用 promptfoo 做提示词回归测试用 garak 做对抗性安全测试再配合简单的日志审计和权限梳理。这些工具都不复杂但它们能在问题发生之前暴露风险这才是可操作的 AI 安全。5.2 给团队做 AI 安全评估的落地清单结合我自己的实践如果要给一个做 AI 应用的团队列安全清单我会建议按这个顺序来先明确威胁模型这个系统如果被绕过最坏后果是什么是泄露数据、输出违规内容还是操作破坏性接口对有权限调用的接口做最小权限控制所有 AI 代理类系统必须隔离在沙箱环境里操作真实系统要走人工审批。建立评估集至少覆盖提示注入、越狱模板、敏感话题和不安全内容生成等场景每次模型升级都重新跑一遍。所有模型的输入输出都做日志记录这样出现问题后可以快速追溯原因而不是靠猜。每次安全事件都做复盘更新评估集形成闭环。不要把“有没有风险”当成一次性的问题当成一个持续运维的指标来跟踪。这些步骤没有一项需要知道“AI 灭绝人类的概率是多少”但它们每一项都在实际降低 AI 系统的风险。如果未来真有一天 AI 会形成更大规模的威胁那它一定是从这类普通的小漏洞开始被逐步突破的。处理好眼前的小问题就是为长远的风险打地基。5.3 我的结论最后再说一点个人的看法。Bryan Cantrill 这篇批评的价值不在于他把 Jacob Coxon 等人说得有多不堪而在于他提醒了大家一件事在 AI 风险这件事上方法论的严谨性和担忧的正当性同样重要。你可以为 AI 的未来感到不安但这个不安要被认真对待前提是把它转化成可以被讨论、被验证、被缓解的具体问题。我自己的习惯是在会议室里听到“AI 有 10% 概率灭绝人类”这种话的时候不再直接反驳而是问一句“这个数字的推导过程是什么我需要看模型假设”。大多数情况下对方给不出答案。这不代表风险不存在只代表我们离真正理解这个风险还有很长的路要走。在这条路上最值得信任的并不是某种宏大的预言而是一份详细的红队测试报告、一条谨慎的权限边界、一个每次升级都会自动运行的评估集。把注意力放在这些地方比争论十年内会不会出事要有用得多。