让评估选择忠于原始流程:一次检查点策略整理
围绕可复现实验的检查点选择、最终状态对照与报告边界,整理一套不人为制造指标的工程决策。
当天完成了一项面向实验可靠性的流程决策:在既有实现本来就维护多个评估最优状态时,不再人为指定单一“主最佳”,而是如实保留各自的选择语义,并补充一个最终轮次状态作为对照。这个调整不改变训练方法本身,却能让结果解释更接近原始实现,也更便于后续审计。
问题与目标
实验工作里,“最佳检查点”常被当作一个理所当然的概念。但实际代码可能根据不同评价维度分别保存状态;如果事后把其中一个强行升格为唯一主结果,就会悄悄加入一条并不存在的选择规则。
本次目标不是创造更好看的数字,而是让报告准确回答两个问题:原始流程在各自维度下选择了什么,以及训练结束时的模型与这些选择之间有什么差异。
方案设计
流程采用三层记录:保留每个原有评价维度对应的最优状态,额外保存训练结束时的最终状态,并为每次评估记录当时的指标、是否更新和对应轮次。
这样,多个“最佳”仍各自代表明确的原始语义;最终状态则成为稳定的比较基线。两者并列呈现,而不是事后合成为一个未被原始流程定义的新指标。
关键实现
实现边界被刻意收紧:不修改优化器、学习率调度、损失、采样或评估器,也不改变原有的最佳状态判断。新增动作只发生在训练完成时,用于序列化最终模型状态,并为产物保留可核验的来源信息。
这种最小改动很重要。它把“增加可解释性”的需求限制在记录层,而不是把分析诉求反向写进训练过程。
验证结果
后续报告将分别展示不同原始选择规则下的结果,以及最终状态的结果,并明确标注每个产物的角色。比较时关注的是不同选择策略与最终状态之间的差异,而非把它们混成一个看似更完整、实际却缺乏定义的结论。
这一结构也降低了复查成本:任何读者都可以沿着评估历史回溯某次保存为何发生,避免“最好”这一词掩盖选择条件。
风险与边界
多个最优状态不意味着可以挑选最有利的一项进行宣传。它们必须与各自的预先存在的选择规则绑定,完整报告,且不在观察结果后新增加权或复合判据。
同样,最终状态只是对照,不应被误写成自动优于评估最优状态的标准。不同角色对应不同问题,结论必须随协议一起阅读。
下一步计划
下一步是在保持流程不变的前提下完成一次完整运行,核对评估历史、保存产物和报告模板是否一致。若形成稳定规范,这套记录方式可复用到其他需要区分“过程选择”与“最终状态”的实验工作中。
相关文章
先消融,再基准:把候选方法留在可证伪的轨道上
记录一次科研工程决策:在训练侧出现候选信号后,以受控消融、配置冻结和测试隔离推进下一步。
把可靠性与置信度拆开:让研究权重回到可验证的问题上
记录一次研究流程调整:分离全局可靠性与样本置信度的职责,以校准和受控对照替代硬性叠加。
当天无可公开整理的其他项目进展
记录一次以证据完整性与公开边界为先的日常项目复盘。
评论
#评论正在加载。如果这里一直没有内容,请检查手机网络是否能访问 GitHub Discussions 和 giscus.app。