工程实践 2026年6月24日 5 分钟阅读 1312 字

PII项目A6低误报路线:从精确后处理开始

记录2026-06-24如何在A6基线之上设计保守的误报过滤,并通过验证指标判断是否值得线上提交。

PII项目A6低误报后处理封面图

6月24日的重点,是从A6基线出发,尝试用非常保守的后处理降低误报。这个阶段不重新训练模型,而是在输出层增加过滤逻辑,目标是在不破坏关键覆盖能力的前提下,减少一部分稳定、可审计的误报。

问题与目标

A6已经是强基线,继续优化不能只看误报下降。PII检测里,fp_char_rate下降当然重要,但如果因此损失weighted coverage或critical coverage,最终PCR可能反而变差。

因此今天的目标不是“删得越多越好”,而是验证一种更谨慎的路线:只过滤本地分析中高度稳定、风险较低的误报模式,并且要求多个验证集合上都不出现明显覆盖率损失。

这条路线有一个明确定位:它不是替代模型能力,而是给已有强模型做高精度修边。

方案设计

实验采用精确后处理思路。候选规则来自本地误报分析,但公开记录中不保留任何具体片段、原始文本、字段值或可反推样本的信息。这里记录的是规则筛选原则,而不是规则内容本身。

一条规则进入候选,需要满足几个条件:

  • 它必须来自低风险误报场景。
  • 它不能在验证集合上造成critical coverage下降。
  • 它不能明显损害weighted coverage。
  • 它生成的提交结果必须通过严格审计。
  • 它的收益应该来自降低误报,而不是依赖不稳定的数据巧合。

这个约束让后处理保持在可控范围内。PII任务里,误删一个关键span的代价很高,所以规则宁愿少一点,也不能靠扩大删除范围来换短期分数。

关键实现

内部实验保留了完整脚本、候选摘要和审计结果。公开博客只保留流程级信息:先从A6预测中定位稳定误报,再生成不同强度的候选版本,然后在old和fresh验证集合上检查PCR、weighted coverage、critical coverage和fp_char_rate

提交前还需要做结构审计,包括行数一致性、缺失样本检查、非法span检查、越界span检查和重复span检查。对PII项目来说,模型输出格式本身就是质量门。如果格式审计不过,指标再好也不能上传。

验证结果

保守版本在线上取得了小幅正向收益,主要来自fp_char_rate下降。随后更宽一些的版本也继续提升,但提升幅度仍然有限,并开始出现coverage侧的轻微交易。

这个结果说明精确后处理是有效的,但它的收益有明显上限。规则越宽,越容易从高精度误报过滤变成对真实PIIspan的误删风险。

因此今天的结论不是“继续扩大规则表”,而是“后处理可以作为低误报路线的第一步,但不能无限承担主要优化任务”。

风险与边界

这类实验最大的风险,是把本地误报模式误认为通用规律。为了避免泄露和过拟合,公开记录不能展示具体片段,也不能用真实样本解释规则。

更合适的记录方式是写清楚:

  • 规则为什么需要保守。
  • 使用了哪些验证口径。
  • 指标变化来自什么方向。
  • 为什么选择上传或放弃。

今天保留下来的经验是:A6后处理路线值得继续观察,但下一步更适合转向带上下文约束的规则,或者进入模型侧训练,让低误报能力来自模型边界本身。

相关文章

评论

#

评论正在加载。如果这里一直没有内容,请检查手机网络是否能访问 GitHub Discussions 和 giscus.app。