案例研究 —— Verdict

Verdict 是我独立发起的货运单证审核原型。我负责流程、系统边界与评测设计,并使用 AI 辅助实现。它把单证中的冲突字段及其依据放进同一个复核流程。

问题

货运信息分散在航空运单、发票、装箱单和各类声明中。复核者要找出缺失单证,以及数量、重量或交易方的矛盾,再整理清楚交接内容。我把这些比较集中到一个工作流里,让支撑判断的细节始终可见。

围绕复核流程设计,而不只是接入模型

  • 权限与变更都有边界

    身份认证后仍检查案件归属;预检完成后,需要先重开流程,才能改变已复核的输入。

  • 单个失败不拖垮整批

    有限重试与逐文件失败处理,让一份文件抽取失败不至于丢掉整批结果。

  • 每条发现都能查回依据

    发现指出冲突对应的规则、单证、字段和值。人核实这些依据,并在采取行动前审核跟进草稿。

我最关键的设计选择

我把模型提取与规则判定分开:模型给出候选字段,确定性规则产生系统复核状态和检查发现。复核者核实来源、更正字段,并决定下一步。

架构

  1. 输入

    单据

    汇集单据,保留字段来源。

  2. 模型辅助提取

    提取候选字段

    模型提取字段;提取内容仍可能出错。

  3. 确定性内核

    检查结构

    校验格式与类型,不证明内容真实。

  4. 确定性内核

    执行成文检查

    规则赋予系统状态,并指出对应发现。

  5. 人的判断

    人工复核

    人检查证据与遗漏,再决定下一步。

辅助起草 · 不属于确定性判定内核

模板与模型辅助生成跟进草稿;发送或采取行动前由人审核。

可追溯记录

  • 审计日志
  • 字段更正
  • 文档版本

记录帮助检查输入与变更,不代表内容已经被证实。

模型输出先通过结构校验边界,再由成文检查赋予复核状态。人核实发现,并决定下一步。
展开实现细节

结构校验检查字段格式,不证明内容真实正确。合规审查报告用 SHA-256 标识规则说明信息的快照。这个快照记录规则描述,不代表执行条件的版本,也不证明结论正确。

单据分类
启发式分类器 → LLM 兜底
模型提取
JSON-mode 抽取
结构校验
Zod schema 校验
确定性检查
(57 项,分布于合规审查与货运单证预检)
规则输出
复核状态 + 发现

谁来决定什么

任务确定性逻辑语言模型(LLM)复核者
给出复核状态标为通过、待复核或阻断—核实检查发现,决定下一步
提取单证字段检查结构与类型提供候选字段值检查并更正字段
识别单证类型先匹配关键词置信度较低时辅助分类—
准备跟进邮件应用模板辅助起草使用前审核
计算规则评分计算分值—结合检查发现解读;分值不是概率

已记录的验证

原型记录包含 9 种单据,以及分布于合规审查和货运单证预检的 57 项检查。项目记录列有约 1,000 个测试用例和 8 轮对抗测试。CI 检查测试、类型、构建与 lint;这些检查不代表覆盖全部现实场景。

另一次 2026 年 6 月评测,对 17 组、85 份合成单证重建的干净英文文本完成了一轮抽取。511 个字段中,96.3% 在归一化和数值容差下与标注值一致;额外允许子串包含后,一致率为 99.0%。此次未评测 PDF 解析或 OCR。

数据边界与供应商选择

模型调用位于独立的供应商接口后,与判定引擎分开。已实现 DeepSeek 与 MiniMax,并通过配置选择;在单个供应商内有限重试,不做跨供应商自动故障转移。新增后端需要适配器与验证。公开示例使用合成数据;任何实际部署都需要另外评估数据处理、托管环境与供应商要求。

评测范围与项目状态

独立原型,持续开发中。公开示例与已公布评测使用合成样例。已记录的评测使用从人工撰写的基准真值重建的干净英文文本,未评测 PDF 解析、OCR、扫描件、照片、其他版式或实际业务单证。系统检查用于辅助复核,不授权运输,也不替代专业判断。规则实现不等于专业或监管验证。这里不主张任何生产流量下的性能。

路线图快照 · 2026-06-12(开发中 · 仅完成设计)

  • 开发中 商品编码查询(AHECC):已实现关键词匹配。三个 API 端点提供基于 5,613 条 AHECC 数据的关键词匹配,以及关税和自由贸易协定(FTA)查询。AI 辅助归类与用户界面尚未实现。
  • 仅完成设计 解释某项检查为什么标出问题,不修改案件。
  • 仅完成设计 把同一邮件会话中的货运单证归入案件。

历史状态记录:2026-06-12

← 返回站点