不确定性探索+确定性校验双引擎架构模式(Dual-Engine Uncertainty-Certainty Pattern)#

模式概述#

在高风险AI应用场景(改错即故障)中,将不确定性引擎(AI/大模型)与确定性引擎(程序/规则/AST)组合使用:AI负责探索与生成,程序负责校验与兜底。两个引擎独立处理同一任务,结果一致则通过,不一致则人工介入。核心洞察是"两个引擎同时出错且错得一模一样的概率极低"——用互补性对冲各自的不确定性,在不要求AI百分百正确的前提下实现可信输出。

触发场景#

满足以下条件时考虑使用此模式:

  • ✅ 任务存在"确定性正确"的判定标准(即可用程序化方式独立校验结果)

  • ✅ AI单独处理时正确率不足(如70-80%),但能覆盖程序无法覆盖的复杂场景

  • ✅ 程序(规则/AST)单独处理时覆盖面不足,但能保证零故障

  • ✅ 场景为高风险(改错即故障),概率性正确不可接受

  • ✅ 需要降低人工Review参与度(人工兜底成本过高)

不适用场景:

  • ❌ 创意写作、战略决策等不存在确定性正确标准的场景

  • ❌ AI单独处理正确率已达99.9%+且错误代价可接受(无需双引擎开销)

  • ❌ 无法找到与AI互补的确定性程序校验通道的场景

核心做法(4步标准化流程)#

步骤1:识别双引擎分工边界#

  • 明确不确定性引擎(AI/大模型)的职责:探索、生成、处理模糊性、覆盖复杂场景

  • 明确确定性引擎(程序/规则/AST)的职责:校验、兜底、保证零故障、提供可信度

  • 确认两个引擎的输入相同、输出可比较(否则无法做Diff校验)

步骤2:设计Diff校验机制#

  • 两个引擎独立处理同一任务,互不共享上下文

  • 结果一致则通过(建议采用语法树等价判定而非字符串匹配,避免格式差异误判)

  • 不一致则人工介入,人工Review结果反哺两个引擎的优化

  • 拟合率(两引擎结果一致的比例)是核心指标,拟合率越高人工参与越少

步骤3:建立两道安全护栏#

  • 第一道护栏(AI自我纠错层):逻辑检测+编译检测+多轮对话迭代,拦截绝大多数Bad Case并驱动AI自我纠错

  • 第二道护栏(双引擎Diff校验层):用确定性程序替代人工兜底,仅在双引擎分歧时才需人工介入

  • 分层防御,逐层收紧,第一道处理常见错误,第二道处理边界场景

步骤4:设计责任转移机制#

  • 将治理责任从业务侧转移到平台侧,平台方承担出错风险

  • 平台方从"提供提效工具的协助角色"变为"与业务方站在一起承担治理责任的同行者"

  • 责任转移是治理得以推进的社会学关键(详见关联模式:责任转移治理模式)

反模式(不要这么做)#

  • 用AI校验AI:用大模型Review大模型,本质是"用概率事件解决概率事件",叠加概率层无法突破概率天花板,Review结果无法保证正确率

  • 仅依赖提示词调优追求AI正确率:在高风险场景中70-80%不可接受,提示词调优有上限,工程化约束才是分水岭

  • 仅依赖程序规则处理:程序覆盖面不足,复杂场景必定改错,仍需百分之百人工Review,未降低人工成本

  • 技术方案先进但不转移责任:业务方风险收益不对等,配合意愿低,技术方案再好也推不动

  • 用字符串匹配判定"一致":格式差异(空格、换行、命名风格)会误判,应使用语法树等价或语义等价判定

检验标准#

  • 双引擎拟合率 ≥ 80%(意味着80%的Case无需人工介入)

  • 线上零故障(确定性引擎保证的底线)

  • AI准确率 ≥ 98%(双引擎组合后的整体准确率,非AI单独准确率)

  • 系统维护投入 ≤ 1个人力(自进化体系支撑,详见关联模式)

迁移验证#

目标场景

不确定性引擎

确定性引擎

Diff判定方式

可行性

基础设施升级(RPC SDK版本统一)

大模型生成升级方案

版本兼容性校验器

兼容性测试通过

域名容灾治理(写死域名治理)

大模型生成变更

配置语法校验器

语法校验+连通性测试

冷代码治理(无流量代码删除)

大模型识别无流量代码

依赖分析程序

依赖链完整+无引用

安全漏洞修复

大模型生成修复补丁

漏洞规则校验器

漏洞扫描通过

实践案例#

快手开关治理(2026年):累计自动下线1500个开关,删除6万多行代码,线上零故障,准确率98%以上,AST与AI引擎拟合率80%以上。系统维护投入不到一个人力。

来源:闫文亮《让开关自我消亡:AI赋能的Feature Flag全生命周期治理》(QCon 2026北京站)

关联模式#