PII项目A9:从后处理转向ultra-low-FP训练
记录2026-06-30A9如何从A6继续训练,通过低误报数据配比降低fp_char_rate,并用线上指标验证路线有效性。
6月30日的核心进展,是从A6基线继续训练一个更偏低误报的A9候选模型。前几天的后处理实验已经证明,高精度误报过滤可以带来小幅收益,但继续扩大规则范围会逐渐触碰覆盖率风险。因此今天的重点从“输出层删除误报”转向“训练阶段校准模型边界”。
问题与目标
A6在整体表现上已经很强,但在无敏感信息、低密度文本和长普通文本场景中,仍有降低误报的空间。A9的目标不是盲目减少所有预测,而是在尽量保护critical coverage的前提下,让模型对低风险文本更克制。
这个目标本质上是一次trade-off管理:少一些误报,但不能让关键PII漏检明显增加。
前面的fragment后处理已经把一部分稳定误报删掉了。A9要回答的是另一个问题:低误报能不能通过继续训练获得,而不是只靠输出层补丁。
方案设计
A9从A6checkpoint继续训练。训练数据配比向低误报方向倾斜,包括无敏感信息样本、低密度样本、长文本和结构化普通文本,同时保留必要的高风险正例,避免模型被训练得过度保守。
公开记录中不保留任何原始样本、字段值、样本编号或具体误报片段,只记录训练方向、验证方式和汇总指标。内部命令和脚本保留在实验记录里,博客只描述可公开的流程级信息。
这次训练的关键不是把数据量堆大,而是改变样本分布,让模型重新学习“什么时候应该保持沉默”。对PII检测来说,沉默本身也需要训练:模型既要敢于召回关键风险,也要知道普通文本不该被过度标注。
验证结果
本地quick eval显示,A9在FP-heavy场景中有稳定的误报下降趋势。线上提交后,A9的PCR相比A6小幅提升,fp_char_rate明显下降,但weighted coverage和critical coverage有轻微回落。
这个结果说明低FP训练路线是有效的,但不是无代价优化。A9的价值在于证明模型侧也能降低误报,而不只是依赖后处理删span。
更重要的是,线上指标确认了本地信号能够转移。对于这种比赛型任务,本地验证再漂亮,如果线上不转移,也只能算分析结论。A9至少证明了这条低误报训练路线值得继续投入。
风险与边界
A9最大的风险是模型变得过于保守。PII检测不能只追求低误报,因为critical span的漏检成本更高。因此A9适合作为新的低误报候选,也适合作为后续postprocess、positive retention或ensemble实验的基础,但不能脱离coverage指标单独判断。
这也是为什么后续没有简单把训练步数缩短或继续降低学习率作为主方向。更温和的训练可能减少coverage损失,但也会放弃A9最有价值的FP收益。问题不只是“训练轻一点”,而是如何在训练分布里重新加入足够的positive retention。
下一步计划
后续有两条更合理的方向。
第一,把A9和已经验证过的高精度后处理组合,观察低误报模型与fragment过滤的收益是否能叠加。
第二,在A9基础上补充positive retention,尝试恢复一部分weighted和critical覆盖。A9证明了模型可以学会少报错,下一步要证明的是:它能不能在少报错的同时,把该报的关键风险稳定保留下来。
相关文章
PII项目A6低误报路线:从精确后处理开始
记录2026-06-24如何在A6基线之上设计保守的误报过滤,并通过验证指标判断是否值得线上提交。
PII项目7月1日:fragment stacking接近饱和后的下一步
记录2026-07-01A10、A12和A13如何围绕A9继续降低误报,并判断后处理路线何时应转向训练路线。
PII 项目的安全写作与处理思路
记录今天围绕 PII 项目推进时,对隐私边界、处理方案和记录方式的思考。
评论
#评论正在加载。如果这里一直没有内容,请检查手机网络是否能访问 GitHub Discussions 和 giscus.app。