生成式视角重塑监督学习监督学习一致性框架
监督学习不再一股脑喂答案,而是借“模糊标签”让模型慢慢摸索出答案?
ICML 2025上,交大、MIT、港中深等机构团队提出「预测一致性学习(PCL)」,这是一种受生成式一致性启发的新型监督学习框架。
核心想法是:把标签“加点噪声”作为提示信息,引导模型逐步逼近完整标签。这就像教学生时不直接给答案,而是先抛点关键线索,一步步引导他们靠自己理解。
具体做法上,PCL借鉴了扩散模型的思路——通过不同程度的噪声,生成“模糊标签”作为输入,让模型在预测过程中保持一致性,从而学到更强的表达能力。
PCL在三种标签类型上都适用:离散、多维连续、以及复杂嵌入型标签。即便在推理阶段只给一个完全无信息的标签提示,模型也能做出超越传统监督学习的表现。更厉害的是,模型还能在多步迭代中利用先前预测的“模糊结果”进行自我修正,预测质量持续上升。
这种渐进式的学习方式,似乎让AI更“像人”了一点。