ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Havenlon | 杂谈:AI 时代最危险的幻觉,不在模型里

Havenlon | 杂谈:AI 时代最危险的幻觉,不在模型里 导语企业已经学会防范模型幻觉却还没有学会防范自己对 AI 能力的误判。前者制造错误信息后者制造错误组织。一、真正在扩散的是经营幻觉AI 会产生幻觉这已经不是新闻。整个行业为此建立了大量防线检索增强、评测体系、规则约束、人工复核、工具调用、交叉验证。人们知道模型会错所以会防模型。真正麻烦的是另一种幻觉——它不发生在模型里而发生在会议室里管理者开始把 AI 展现出来的能力当成组织已经拥有的能力。一个 Demo 跑通项目被认为接近完成一个 Agent 连续执行几十次没有出错有人开始讨论无人化一个模型准确率达到 95%有人开始计算可以裁撤多少岗位一名工程师借助 AI 三天完成过去三周的工作于是整个研发周期被要求按同样比例压缩。这些判断未必错误问题在于它们发生得太早。技术只证明了某件事可以发生经营系统却已经按照它可以稳定发生重新配置预算、人员和流程。更隐蔽的是人对 AI 的误判从不会被归档为错误。它会被称作战略判断、效率目标、组织升级、降本增效、数字化转型。一旦进入管理体系它产生的就不再是一条错误回答而是预算削减、交付周期、人员编制、销售承诺最终变成一家公司的现实。模型幻觉制造错误信息管理幻觉制造错误组织。以下是这种幻觉在企业中最常见的六种形态。二、完成度幻觉Demo 第一次长得像系统过去做复杂软件早期阶段通常很难看页面没完成流程跑不通数据是假数据。管理者很容易意识到距离生产环境还很远——难看本身就是一种诚实的进度信号。AI 取消了这个信号。今天一个很小的团队甚至一个人几天内就能做出一套极具说服力的系统它能对话、能调用工具、能生成报告、能操作数据库、能控制浏览器、能跑完一条完整工作流。在会议室里它几乎不出错。AI 让能力出现与系统成熟第一次在视觉上难以区分。于是组织很容易跳过中间最困难的部分可靠性、异常处理、权限边界、数据污染、成本波动、模型退化、上下文漂移、安全、审计、追责与恢复机制。Demo 之所以漂亮是因为它只演示 happy path。而真实世界从不按 happy path 运行——输入不完整、数据过期、接口失败、第三方服务不可用、用户行为异常、权限冲突、规则互相矛盾。工程的价值大部分恰恰存在于 happy path 之外。因此 AI 时代最常见的误判是因为第一版做得极快就以为最后一公里也变短了。事实往往相反。第一公里被压缩之后最后一公里才第一次真正暴露出来。三、准确率幻觉95% 本身没有意义管理层喜欢数字准确率尤其令人安心。90%、95%、98%、99%越接近 100越像在接近可靠。但商业系统真正要问的不是它平均多正确而是——它错的时候错在哪里一套整理会议纪要的 AI95% 已经相当优秀一套控制付款的 AI95% 完全不可接受。同一个概率在不同场景中的商业含义完全不同。因为企业承担的从来不是平均错误率而是错误后果。频次同样会改变性质。99.9% 听起来很高但在一百万次操作中意味着一千次异常。如果其中任何一次能够直接改变资金、数据、权限或物理设备状态99.9% 就不再是一个安全数字而是一个危险数字。所以 AI 的风险管理不能停留在传统软件可用性思维上。真正该写进评审清单的是四个问题错误能否被发现能否在执行前被阻止发生之后能否恢复最坏情况是什么由谁承担这些问题的答案比 benchmark 再提高两个百分点重要得多。四、速度幻觉生产变快了现实没有变宽容AI 最显眼的能力是速度代码、文档、设计、分析、方案都生成得更快。于是一个自然的推论出现——既然工作变快了组织就应该整体变快。这个推论忽略了一个基本事实企业的运行速度从来不只由生产速度决定它同时取决于判断、协调、审批、验证、责任与市场反馈。AI 可以一分钟生成十套方案但企业仍必须决定哪一套值得承担后果。AI 可以一天写完过去一个月的代码但系统上线后出现事故排查与修复的时间不会因此缩短。AI 可以让公司每天产出一万条内容但消费者的注意力没有增加一分钟。AI 减少的是生产摩擦不是决策责任。稀缺资源正在迁移。过去企业缺的是生产能力未来企业越来越缺的是高质量判断。这会导致一个看似反常的现象工具越来越多产出越来越快管理成本反而上升——因为十倍的方案、代码与建议同时意味着十倍需要被筛选、验证和承担责任的对象。如果管理体系没有同步升级AI 越强组织制造噪音的能力也越强。五、无人化幻觉被拿走的是简单的那部分无人化是 AI 商业叙事里最诱人的词同样的收入更少的人更低的人力成本。这确实可能发生。但今天多数所谓的无人化实际做的是另一件事——把简单任务从人的工作中移除剩下最麻烦的部分。客服是最典型的例子。AI 可以承接查订单、改地址、看物流、解释基础规则人工坐席数量确实会下降。但最终流向人工的会越来越集中于投诉、争议、欺诈、赔偿、跨系统故障以及高价值客户的复杂情绪。问题数量下降了每个问题的责任密度却上升了。工程师同样如此。模板代码、接口封装、测试与文档可以被自动生成人真正要处理的逐渐变成架构决策、复杂并发、系统边界、故障恢复、安全与数据一致性。留下来的不是剩余的 20%而可能是过去全部工作中最难的 20%。最容易被自动化的部分往往也是最便宜的部分。因此用AI 自动化了多少任务直接推导应该减少多少人等于把任务数量等同于人力价值。现实并不线性。六、成本幻觉Token 很便宜错误执行从不便宜单次模型调用可能只要几分钱一条 Agent 工作流几毛钱。从财务模型看AI 的边际成本低得惊人。但企业真正的 AI 成本不在 Token而在错误。一份错误摘要几乎没有后果一条错误投放浪费预算一份错误合同产生法律风险一次错误的数据库操作造成数据损坏一笔错误付款是直接的资金损失一个错误的工业控制动作会进入物理世界。当 AI 从生成信息走向执行动作需要计入财务模型的变量就变了不是 Cost per Token而是 Cost of Wrong Action。配套的问题也随之改变单次错误行动的成本是多少错误是否可逆能否在执行前被拦截哪些动作必须人工确认哪些边界在任何情况下都不可突破很多公司今天仍把 AI 当作一种更便宜的软件能力。但当它拥有行动能力它实际上已经变成风险基础设施——两者需要完全不同的管理方式。七、信任幻觉危险的不是 AI 太弱而是它已经足够强能力不足的系统通常不会造成最大风险因为没有人会信任它。正确率只有 60% 的 AI没人敢让它负责关键资金经常胡说八道的 Agent也拿不到生产权限。真正复杂的阶段是 AI 已经很好用连续几个月没有明显问题覆盖绝大多数任务员工开始依赖管理层开始信任流程开始围绕它设计人工检查逐渐减少。可靠性会转化为信任而信任会转化为权限。这是所有高风险系统共同的规律一个系统表现得越稳定人越容易撤掉原本用来防止异常的机制——直到那个极低概率的事件出现。所以 AI 治理真正要解决的几乎不可能是如何让模型永不犯错而是如何保证模型犯错时错误不能无限扩散。这要求三重分离能力与权力分离生成与执行分离判断与最终授权分离。这不是因为 AI 不可信恰恰是因为 AI 会越来越可信。历史上真正危险的系统往往不是不可靠的系统而是可靠到让所有人停止防备的系统。八、从AI 能做什么到AI 可以做到哪一步过去两年企业问得最多的是AI 能做什么这是一个能力问题。接下来更重要的问题会变成AI 可以做到哪一步这是一个边界问题。两者看似接近代表的却是完全不同的管理哲学。前者不断推动权限扩大后者迫使组织重新设计责任结构。真正成熟的 AI 企业不会追求让 AI 获得无限自主权而会做相反的事让能力尽可能强同时让边界尽可能清晰。允许它分析、规划、调用工具、自动执行但关键动作必须有独立验证高风险结果必须有最终约束系统必须知道何时停止异常必须能被阻断执行必须可追溯责任必须有归属。成熟的自动化不是没有人而是不再需要人盯着正常流程但必须有人定义异常发生时系统不可越过的边界。回到开头。管理幻觉的本质是一种提前兑现技术刚证明可能经营系统已经把它记作确定如同把尚未产生的收益提前计入利润表。而现实一定会来结算这笔账——工程复杂度不会因为 Demo 漂亮而消失责任不会因为自动化而消失尾部风险不会因为平均准确率高而消失物理世界也不会因为模型进步而降低错误成本。模型幻觉通常只影响一个答案可以用技术修复管理幻觉一旦进入组织会影响资源、流程、人员与战略往往要等现实付出成本之后才被纠正。真正成熟的企业最终不会用用了多少 AI来证明自己先进。它们会理解一个更困难的问题技术能力可以指数增长商业确定性只能一点一点被证明。
返回列表