跳到正文
深圳 · 大湾区 · 地球

什么时候不该用 AI:能写成规则的事,就不要交给模型

大多数被写成 AI 需求的流程,其实是一条规则、一个唯一约束或一个每晚跑的定时任务。它们单次成本是零,失败原因写在日志里,答案每次都一样。

6 分钟阅读1,376
AI StrategyEnterprise暂无译文。

先问规则,再谈模型

有人拿着一个流程来找我,说想在上面加模型。我第一个问题从来不是模型,而是:如果招一个熟悉业务的新人来做这件事,你会告诉他按什么规则做。如果这条规则能写进一段话,最便宜的正确系统就是这段话本身,只是要写成代码。

当一条确定性规则、一个数据库约束或一个定时任务已经能给出正确答案时,上模型是一次降级:你把一个说得清原因的失败换成了说不清原因的失败,还给原本零成本的工作加上了按次计费。

我收过钱去实现“规则的模型版”,不止一次,而且它们都跑起来了,这才是让人不舒服的地方:跑得足够好,于是没人再问更便宜的那套会不会更准;账单每月照来,而会议室里没有一个人能说出错的是哪三个百分点。

三件便宜的工具,便宜在哪

条件判断。 字段为空就拒绝入库,金额超过阈值就走审批。写一次,测一次,几年不动,审阅它的人读得懂。

数据库约束。 在供应商的纳税人识别号上建唯一索引,比任何分类器都更彻底地解决重复供应商问题,因为它在错误发生的那一刻拒绝写入,而不是过几天再发现。数据库不接受协商。

CREATE UNIQUE INDEX vendor_tax_id_key ON vendor (tax_id) WHERE tax_id IS NOT NULL;

定时任务。 每晚扫一遍十四天没有活动的商机,把跟进任务排进队列。AWS 定价页列出的 Lambda 请求计费是每百万次 0.20 美元(以定价页为准),一条每晚跑一次的作业远远在这条线以下。重点不是数字大小,而是它事先可知,并且不随判断难度上升而变动。

真正决定选型的不是单次价格,而是这个算术。假设每月一万条记录、复核一条二十秒——这两个数字应当来自你自己的历史数据,而不是行业基准。规则系统处理掉 96%,把剩下 4% 明确报成异常,你得到 400 条待复核记录,而且这 400 条会自己举手,约 2.2 小时。换成一个准确率 96% 的模型,它交回一万条结果,其中 400 条是错的,没有一条会告诉你自己是错的,全量复核是 55 小时左右。差的不在 token 账单上,而在于概率系统把你分不清好坏的全部输出都变成了人工工时。

把提案写成一句话之后,它长什么样

这张表我一般在需求澄清会上填,左列用提需求的人自己的说法。

提案已有的确定性做法单次成本失败时你会看到什么结论
用 AI 标记超预算的发票与预算表做一次比较预算数据错了,就在那一行上规则
用 AI 按地区分派工单查表单本来就采集的地区字段地区缺失,录入时就能看见规则
用 AI 阻止重复供应商在识别号上建唯一索引写入直接失败,发生在出错的当下规则
用 AI 催沉睡商机定时任务加最后活动时间每月几分钱任务没跑,告警会告诉你规则
用 AI 从扫描发票里取合计金额没有对应做法每页计费,外加复核一个看起来正确的错误数字模型,加抽样
用 AI 在通话前总结客户历史没有对应做法每次调用计费语气流畅、漏掉流失标记的摘要模型,加指定读者

前四行的共同点不是模型做不了,而是确定性版本已经是对的、可审计的、便宜的,模型版本只增加了方差。

那为什么提案里还是会写 AI

预算科目。 同一个项目叫“修供应商主数据”,就要和一百件运营杂事抢预算;叫“AI 项目”,就有高管 sponsor 和一个季度的保护期。这是命名问题,也是我遇到最多的一种。

没人愿意署名。 规则是一个带名字的决策,它误伤时,写它的那个人为结果负责;“模型返回的就是这样”则把责任分散到一个供应商、一段 prompt 和一个温度参数上。

规则确实写不出来。 如果两个有经验的同事把同一份政策用在同样的十个真实案例上,有三个结论不一致,那么方差长在流程里,任何架构都修不好它。

输入本身就是非结构化的。 扫描的发票、客户邮件、合同里的某一页。没有哪个条件判断能读手写体,也没有哪条约束能对齐不同币种格式的合计行。

后两条是技术理由,前两条是采购行为——后者很贵,因为它用正确的标签买了错误的系统。

规则什么情况下会不够用

下面是我实际撞到过的边界。

例外多到无法枚举。 带两个例外的规则还是规则;带四十个例外、每个都来自两年前某次升级的规则,是一张没人维护的查询表。超过一页纸,维护它的成本就高于一个近似它的模型。

输入非结构化。 文本、扫描件、录音。抽取是模型真正挣到位置的地方,但位置很窄:先把字段抽出来,再把规则用在抽出来的字段上——价值的大头仍在确定性那一侧。

输出本身就是判断。 起草、总结、向客户解释一处差异:对错是品味问题,没有规则可写。

静默的分布漂移。 输入变形时规则会坏,你会在错误率上看见它;模型的退化是渐进的,不会自我声明。所以即使模型进来了,我也倾向留一条规则报错通道——更细的对照判断,我放在一张按失败模式而不是按模型能力排序的选型对照表里。

为什么终点是模型,也要先把规则建起来

三个理由,都跟工程有关。

规则免费给你一份带标注的数据集:它干净处理掉的每一条都是正例,报出来的每一条例外都是值得标注的样本。从模型起步的团队,第一个月都在手工制造规则本来会顺手产出的东西。

规则给你一个基线。“模型在那 4% 的残差上与规则一致的比例是 91%”是财务委员会能据以行动的一句话;“模型效果不错”不是。

规则是兜底路径。供应商宕机、换代模型、涨价的时候,规则照跑。我维护的两套系统就是这么分的:确定性路径承接主要流量,模型只处理残差,单条成本低,复核队列短到午饭前能清完。

下一份 AI 提案,我会先做哪三件事

把规则要过来,一起写下来,在两百个历史案例上手工跑一遍,数它对了多少。如果覆盖九成以上,这个月就把规则上线,剩下的交给一个指定的人工队列,两个季度后带着基线回头看模型。如果覆盖不到九成,你就找到了真正的候选场景,也已经知道哪一部分工作是非结构化的——这是唯一值得为模型付费的部分,也通常是我为企业做这类判断时最先落到纸上的东西。无论哪种结果,代价是一周时间。

继续阅读

更多「AI 战略」

准备构建一套系统?[ 预约会议 ]