Andrew Xia · https://hh0hh.com
案例研究 —— Verdict
Verdict 是我独立发起的货运单证审核原型。我负责流程、系统边界与评测设计,并使用 AI 辅助实现。它把单证中的冲突字段及其依据放进同一个复核流程。
问题
货运信息分散在航空运单、发票、装箱单和各类声明中。复核者要找出缺失单证,以及数量、重量或交易方的矛盾,再整理清楚交接内容。我把这些比较集中到一个工作流里,让支撑判断的细节始终可见。
围绕复核流程设计,而不只是接入模型
权限与变更都有边界
身份认证后仍检查案件归属;预检完成后,需要先重开流程,才能改变已复核的输入。
单个失败不拖垮整批
有限重试与逐文件失败处理,让一份文件抽取失败不至于丢掉整批结果。
每条发现都能查回依据
发现指出冲突对应的规则、单证、字段和值。人核实这些依据,并在采取行动前审核跟进草稿。
我最关键的设计选择
我把模型提取与规则判定分开:模型给出候选字段,确定性规则产生系统复核状态和检查发现。复核者核实来源、更正字段,并决定下一步。
架构
-
输入
单据
汇集单据,保留字段来源。
-
模型辅助提取
提取候选字段
模型提取字段;提取内容仍可能出错。
-
确定性内核
检查结构
校验格式与类型,不证明内容真实。
-
确定性内核
执行成文检查
规则赋予系统状态,并指出对应发现。
-
人的判断
人工复核
人检查证据与遗漏,再决定下一步。
辅助起草 · 不属于确定性判定内核
模板与模型辅助生成跟进草稿;发送或采取行动前由人审核。
可追溯记录
- 审计日志
- 字段更正
- 文档版本
记录帮助检查输入与变更,不代表内容已经被证实。
展开实现细节
结构校验检查字段格式,不证明内容真实正确。合规审查报告用 SHA-256 标识规则说明信息的快照。这个快照记录规则描述,不代表执行条件的版本,也不证明结论正确。
- 单据分类
- 启发式分类器 → LLM 兜底
- 模型提取
- JSON-mode 抽取
- 结构校验
- Zod schema 校验
- 确定性检查
- (57 项,分布于合规审查与货运单证预检)
- 规则输出
- 复核状态 + 发现
谁来决定什么
| 任务 | 确定性逻辑 | 语言模型(LLM) | 复核者 |
|---|---|---|---|
| 给出复核状态 | 标为通过、待复核或阻断 | — | 核实检查发现,决定下一步 |
| 提取单证字段 | 检查结构与类型 | 提供候选字段值 | 检查并更正字段 |
| 识别单证类型 | 先匹配关键词 | 置信度较低时辅助分类 | — |
| 准备跟进邮件 | 应用模板 | 辅助起草 | 使用前审核 |
| 计算规则评分 | 计算分值 | — | 结合检查发现解读;分值不是概率 |
已记录的验证
原型记录包含 9 种单据,以及分布于合规审查和货运单证预检的 57 项检查。项目记录列有约 1,000 个测试用例和 8 轮对抗测试。CI 检查测试、类型、构建与 lint;这些检查不代表覆盖全部现实场景。
另一次 2026 年 6 月评测,对 17 组、85 份合成单证重建的干净英文文本完成了一轮抽取。511 个字段中,96.3% 在归一化和数值容差下与标注值一致;额外允许子串包含后,一致率为 99.0%。此次未评测 PDF 解析或 OCR。
数据边界与供应商选择
模型调用位于独立的供应商接口后,与判定引擎分开。已实现 DeepSeek 与 MiniMax,并通过配置选择;在单个供应商内有限重试,不做跨供应商自动故障转移。新增后端需要适配器与验证。公开示例使用合成数据;任何实际部署都需要另外评估数据处理、托管环境与供应商要求。
评测范围与项目状态
独立原型,持续开发中。公开示例与已公布评测使用合成样例。已记录的评测使用从人工撰写的基准真值重建的干净英文文本,未评测 PDF 解析、OCR、扫描件、照片、其他版式或实际业务单证。系统检查用于辅助复核,不授权运输,也不替代专业判断。规则实现不等于专业或监管验证。这里不主张任何生产流量下的性能。
路线图快照 · 2026-06-12(开发中 · 仅完成设计)
- 开发中 商品编码查询(AHECC):已实现关键词匹配。三个 API 端点提供基于 5,613 条 AHECC 数据的关键词匹配,以及关税和自由贸易协定(FTA)查询。AI 辅助归类与用户界面尚未实现。
- 仅完成设计 解释某项检查为什么标出问题,不修改案件。
- 仅完成设计 把同一邮件会话中的货运单证归入案件。
历史状态记录:2026-06-12