Human-in-the-loop 不该只是一个确认按钮

很多 Agent 产品把 human-in-the-loop 简化成最后一步的“批准”。这看似保留了人的控制权，实际常把几十个模型判断压缩成一次无法认真审查的点击。

有效的人类参与至少有四个时点：开始前定义目标和禁区，执行中处理歧义与例外，完成前核对高风险动作，完成后评估结果并把纠正写回系统。确认只是其中一个接口。

把人放进循环，首先要把任务拆成不同控制面：目标由谁设定，资料由谁提供，哪些判断可由模型暂定，哪些动作必须由责任人签署，结果又由谁验收。系统据此生成干预点，而不是在流程末尾统一弹窗。人的输入还应改变后续策略，例如降低权限、缩小范围或追加验证，而非只记录一次同意，并应保留这次干预适用的范围与期限。否则系统无法真正学习边界。

OpenAI 在 Operator 中区分接管、用户确认和敏感网站监控，NIST AI RMF 则强调治理、测量与管理风险。这些框架共同说明：人的作用不是给自动化盖章，而是为不同风险配置不同控制。

确认按钮常产生一种责任幻觉：界面把复杂变更压缩成“允许”，用户在缺少时间、证据和替代方案时只能机械点击，事故后却被认定已经知情。反过来，处处确认也会形成疲劳，使真正危险的动作淹没在日常提示中。人参与得多不代表控制更强，错误的参与位置反而会掩盖系统设计缺陷，并把平台责任不恰当地转嫁给操作者。而用户并未获得实质选择权。

产品首先要解决可审查性。用户需要看到 Agent 使用了哪些输入、做了哪些关键假设、准备改变什么，以及失败后如何恢复。把完整思维链倾倒出来不是答案；可验证的证据、差异和动作摘要才是。

其次是可干预性。用户应能在不重启任务的情况下修改目标、冻结某一步、替换工具或撤销一段操作。好的协作像调整航线，不像每次偏航都重新造船。

判断协作机制是否有效，可以查看三个问题：用户在决定前能否看到影响对象与可逆性，纠正后系统是否保留并应用新边界，事后能否从日志还原谁基于什么证据做了什么决定。测试时还应故意制造意见分歧、权限不足和中途改目标，观察产品能否继续推进，而不是只验证一路批准的理想流程，并确认拒绝不会让已完成工作全部丢失。这才证明干预具备连续性。

第三是责任匹配。低风险、可逆且重复的步骤可以默认执行；发送邮件、付款、发布、删除数据等外部影响动作，应提高确认强度。权限提示要描述后果，而不是只展示技术名词。

团队场景还需要角色分离。提出任务的人未必有权批准付款，代码作者也不该独自绕过安全检查。Agent 的审批流要继承组织原有的权限和审计制度，而不是另建一条更方便却更脆弱的捷径。

更成熟的理解是，人并非 Agent 外部的刹车，而是系统获取价值判断与承担责任的传感器。自动化擅长扩大行动，人类擅长识别情境中不能被统一规则覆盖的部分。好的产品让两者各自在信息最充分的位置工作，并把纠正沉淀为下一次的边界，最终减少的不是人的权力，而是无意义的操作，同时提升关键决定的可见度。责任也因此与能力重新匹配。

最终，human-in-the-loop 的目标不是让人参与得越多越好，而是在最有信息价值和责任价值的位置参与。成熟产品会减少无意义确认，同时让真正重要的判断更清楚、更可逆、更可追责。

干预强度还应随系统经验变化，而不是永久固定。新流程缺少证据时，可以提高抽检与确认比例；当一类任务经过稳定验证，低风险步骤再逐步自动化；一旦错误率或环境发生变化，控制应自动收紧。这种可升可降的机制，比一次性宣布“全自动”更符合真实风险，也让用户看到信任是如何被赢得的。信任由持续证据累积，也应在异常后及时撤回。

《Human-in-the-loop 不该只是一个确认按钮》讨论的表面是功能，底层其实是一份委派契约。用户需要知道自己交出了什么目标、哪些资料会被使用、系统可以替他做到哪一步，以及什么情况下会停下来请求确认。把这四件事放在同一个可见界面中，比让 Agent 用更像人的语气解释自己，更能建立可以重复使用的信任。

体验失败往往不是发生在执行动作，而是发生在目标被悄悄误解之后。一个助手可能准确点击了按钮，却选择了错误候选、忽略了隐含约束，或把临时偏好当成长期授权。产品应在目标含糊、风险上升或上下文冲突时主动提出最小问题；高质量追问不是打断自动化，而是避免用户在最后才发现整条路径偏了。

界面必须帮助人快速形成独立判断，而不是诱导同意。默认按钮、信息顺序和风险措辞都会影响决定，若系统先给出强烈推荐，再把替代项藏在二级页面，人工参与只是给模型结论增加合法性。更公平的设计应先展示事实与差异，再说明系统建议，并允许审阅者在不知道模型偏好的情况下抽检部分案例。否则界面设计本身就在替系统操纵责任归属。

衡量这类体验时，除了任务完成率，还要记录用户接管发生在哪一步、接管后系统能否理解修正、每次成功交付需要多少额外澄清，以及拒绝或取消是否真的生效。好的 Agent 会随着使用减少协调成本，而不是把交互从一串点击换成一串更难审阅的聊天消息。

人类反馈也不能直接等同于真相。审批者可能缺少知识、受到绩效激励影响，或在重复任务中形成习惯性放行。系统要记录意见分歧与后续结果，通过多人复核、随机抽样和事后质量信号校准人类判断。真正可靠的协作不是假设人永远正确，而是让人和模型的错误能够互相暴露。协作质量最终取决于双方错误是否都能被纠正。

权限设计也需要与心理负担匹配。低风险、可逆动作可以在明确范围内自动完成；涉及外发、付款、删除、身份或敏感资料时，应把对象、影响和回滚方式呈现出来。重点不是制造更多弹窗，而是让少数真正关键的决定足够醒目，使用户能够理解并承担自己的选择。

未来的差异不会只来自谁能做更多动作，而来自谁能在持续关系里保持边界感：记得有用偏好，允许用户修改和遗忘；主动推进任务，又不把不确定性藏起来。用户最终留在一个 Agent 身边，不是因为它永远不犯错，而是因为它犯错后仍可被理解、纠正和重新委派。