知识
AI 项目为何在试点成功之后停滞?
因为试点可以假设的东西,生产必须逐一验证:数据是干净的、有人对这个决策负责、答错了也没关系、没有人的工作会因此改变。每一条假设在演示里都合理,在生产里却都是承重的——而且它们会同时到期。
同时到期的四条假设
假设数据是干净的
试点用的是有人事先整理好的数据导出。生产用的是线上系统,同一个字段会因为写入它的集成不同而含义不同。
假设有人对决策负责
演示里,在场的人什么都批准了。到了生产,谁有权批准什么并不清楚,而这个问题从来没有被公开提出过。
假设答错了没关系
演示里答错是个玩笑;生产里答错会改到一笔真实订单,而整套设计从未考虑过这种情况。
假设没有人的工作会改变
流程默认有人会继续承担 AI 不做的那部分——但没有人同意过、排期过,也没有人衡量过。
为什么继续打磨模型解决不了
项目停滞之后的本能反应是改进模型,因为那是团队最擅长改进的部分。但这通常没什么用,因为准确率并不是真正的约束条件。
真正的约束通常是:没有人明确写下这个系统在不请示的情况下可以做什么。在这一点写清楚之前,无论答案质量多高,这项工作都无法上生产。
真正能解开的是什么
先把决策权说清楚,再建立让它们生效的控制机制:事先写明 AI 发起的工作可以做什么、在这些规则要求处先由人审批再执行、以及留下“实际发生了什么”的记录,而不只是“最后停在哪”。
客户常问的问题
- 我们当初是不是应该做得更小一点?
- 通常不是更小,而是更窄。一个直接对着真实系统、只覆盖一条窄流程的试点,会在问题还便宜的时候把它们暴露出来。
- 这是在否定试点吗?
- 不是。它否定的是"把试点成功当作离生产已经很近的证据"。试点提供的是关于模型的证据,不是关于组织的证据。