知识
让 AI 动手之前，应该有哪些控制机制？
有三项，优先于其他一切：事先写明 AI 发起的工作可以做什么、在这些规则要求处由人审批，以及留下“实际发生了什么”的记录而不只是“最后停在哪”。三者缺一，事后就无法回答最关键的问题——它做了什么，以及谁允许的。
三项，按顺序
- 01
明确的策略
AI 发起的工作可以做什么，事先写清楚，而不是从它的行为里事后总结。
- 02
在要求处审批
凡策略要求之处，建议必须先经人工审核批准，才会被实际执行。
- 03
每一次运行的记录
提出了什么建议、依据是什么、谁批准的、系统实际做了什么。
- 04
由归属系统执行
变更由真正负责它的系统来执行，使记录与状态存放在一起。
为什么只有最终状态不够
大多数系统记录的是某个值变成了什么。这只能回答"现在是什么"，别的都答不了。而事故之后要问的是另一些问题：当时提出了什么建议、这个建议基于什么、是否被批准、由谁批准。
一条留痕记录下“谁或什么做的、动了哪条记录、做了什么、变更前后分别是什么样”，就能回答这些问题；而一个被改动过的字段不能。
这能防住的失败
代价最高的失败，往往不是 AI 做了什么惊人的事，而是它反复做了一些看起来合理的小事，没人注意，直到累积效应在别的地方显现——这时才发现，没有任何记录能说明这一切为什么发生。
客户常问的问题
- 什么都要审批，AI 不就没用了吗？
- 确实会，所以策略要写明"哪里需要审批"，而不是要求处处审批。判断标准是：哪些变更可以撤销，哪些不能。
- 这和审计日志是一回事吗？
- 审计日志是其中一部分。另外两部分是：说明什么被允许的策略，以及表明有人同意过的审批记录。