PII项目A6/A7选择器：为什么路由上限没有变成可用方案

6月25日的实验围绕一个很自然的问题展开：A6和A7在不同样本上各有优势，能不能训练一个选择器，在每条样本上决定使用哪个模型的结果？从oracle分析看，这条路线确实存在上限，但今天的实验说明，上限不等于可上线方案。

问题与目标

A6的优势是误报更低，A7在部分覆盖场景中更积极。如果能准确识别“A6会失败但A7会通过”的样本，就可能提升整体PCR；但如果选择器误选了“A6已通过而A7会失败”的样本，就会直接伤害结果。

今天的目标是验证：只使用线上可获得的信息，是否足以训练一个稳定泛化的A6/A7路由器。

可用信息包括预测统计、文本结构特征和模型输出特征。真实标签相关字段只能用于离线分析，不能成为线上特征。这个边界非常重要，否则实验结果会带入不可部署的信息。

方案设计

实验分三步推进。

第一步是规则选择器。它根据预测span数量、预测字符率、高风险类别数量等统计信息，尝试找出A7更可能救回A6失败的样本。

第二步是sklearn选择器。它把预测统计特征输入到分类模型中，尝试学习更复杂的路由边界。

第三步加入文本结构特征，包括长度、数字比例、标点结构、格式形态和若干抽象模板信号。公开记录中不展示具体文本模板、样本内容或预测明细，只保留特征类型和验证结论。

这三步的共同目标，是用线上可获得的特征逼近oracle路由能力。

验证结果

规则选择器能找到少量可能被A7rescue的样本，但覆盖太低，整体PCR几乎没有变化。机器学习选择器在旧验证集合上看起来能排序出一些rescue样本，但迁移到fresh validation后，选中的样本多数变成harm case。

加入文本结构特征后，问题仍然没有解决。模型在训练侧能捕捉旧集合里的模式，但这些模式没有稳定迁移到fresh集合。

最终结论是：当前特征不足以支撑一个可靠的线上路由器。A6/A7的oracle上限是真实存在的，但可部署选择器还没有找到。

实现过程中的取舍

这次实验最有价值的地方，是及时停止。

如果只看旧验证集合，选择器路线会显得很有吸引力，因为它确实能找到一些A7优于A6的局部样本。但PII检测不能只看局部rescue，也要看harm是否可控。一旦选择器在fresh集合上泛化失败，它就可能比单模型更危险。

因此今天没有生成线上提交，也没有把选择器包装成候选方案。这个决策避免了一次可能看似合理、实际风险很高的上传。

下一步计划

后续方向应该从post-hoc路由转向更可控的训练策略。

更可行的路线是：从低误报基线继续训练，同时加入覆盖修复样本和hard negative样本，让模型自身学习更稳的边界。相比样本级路由，这条路更慢，但也更容易用old、fresh和线上指标建立稳定证据。