PII项目7月1日:fragment stacking接近饱和后的下一步
记录2026-07-01A10、A12和A13如何围绕A9继续降低误报,并判断后处理路线何时应转向训练路线。
7月1日的实验继续沿着A9的低误报路线推进。A9已经证明模型侧ultra-low-FP训练有效,今天要验证两个问题:高精度fragment后处理能否叠加到A9上,以及当后处理收益接近饱和后,是否应该回到训练数据配比上解决coverage与FP的平衡。
A10:把后处理叠到A9上
A10的思路很直接:不重新训练模型,而是把前面在A6上验证过的高精度fragment过滤逻辑应用到A9输出上。这样可以检验两类收益是否互补:A9负责让模型整体更低误报,后处理负责清理一批稳定、可审计的剩余误报。
公开记录中不展示具体fragment内容,也不列出被删除的真实片段。这里保留的是实验结构:A9作为基础提交,后处理只做高精度过滤,提交前通过格式审计,再用线上指标判断收益是否转移。
线上结果显示,A10相比A9继续小幅提升,fp_char_rate再次下降,critical coverage没有进一步损失。这说明低误报训练和保守后处理可以叠加。
A12:后处理扩展的边际收益
A12继续扩大高精度规则集合,将多个经过筛选的fragment规则合并使用。结果仍然是正向的,但提升已经非常小。
这个结果比单纯的分数更重要。它说明fragment-only stacking已经接近饱和:继续扩大规则集合,收益会越来越小,而coverage风险会逐渐增加。后处理路线在这里已经完成了它最适合做的事情,即清理稳定误报,而不是承担主要模型能力提升。
因此A12虽然成为更强的候选,但它同时给出了一个停止信号:不要继续把希望押在多删一点span上。
A13:回到positive retention
A13因此改变方向:先调整基础模型,让它在保留低误报倾向的同时加强正例保持,再叠加已经验证过的高精度过滤。这个设计试图解决A9、A10和A12的核心矛盾:fp_char_rate已经降下来了,但weighted coverage和critical coverage仍需要更稳地保护。
A13的价值不在于再扩大过滤表,而在于尝试通过positive retention修复低误报路线带来的coverage压力。如果这条路线有效,后续优化就不必继续依赖越来越细的后处理规则,而可以回到模型训练本身。
风险与边界
今天的结论是,后处理不能无限承担优化任务。它适合做高精度、可审计、低风险的修边;一旦收益进入微小区间,就应该回到训练策略、数据配比或ensemble判断上。
公开记录仍然遵守PII边界:不展示真实样本、不展示具体规则片段、不展示样本编号、不展示预测明细。对外可讨论的是策略、指标趋势、验证口径和决策原因。
下一步计划
如果A13线上结果不能超过A12,也不代表方向失败。它仍然可以提供一个重要信号:低误报路线要继续提升,关键不再是多删几个span,而是如何在模型训练中重新平衡positive retention与hard negative稳定性。
后续更值得投入的方向,是把A9以来的低误报收益保留下来,同时通过更稳的正例保持、模型组合或候选仲裁恢复coverage。fragment stacking已经证明自己有用,但它不应该成为唯一答案。
相关文章
PII项目A6/A7选择器:为什么路由上限没有变成可用方案
记录2026-06-25A6/A7路由选择器从规则到机器学习特征的尝试,以及最终没有上线的原因。
PII项目A6低误报路线:从精确后处理开始
记录2026-06-24如何在A6基线之上设计保守的误报过滤,并通过验证指标判断是否值得线上提交。
PII项目交接:先冻结基线,再继续优化
记录2026-06-22PII项目交接时如何确认protected best、复现实验入口、验证集边界和后续优化原则。
评论
#评论正在加载。如果这里一直没有内容,请检查手机网络是否能访问 GitHub Discussions 和 giscus.app。