Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression

要約

半教師付き分類と回帰の両方は、コンピュータ・ビジョンにとって現実的に困難な課題である。しかし、半教師付き分類法は回帰タスクにはほとんど適用されていない。なぜなら、分類における閾値-擬似ラベル処理（T2L）は、ラベルの品質を決定するために信頼度を用いるからである。これは分類タスクでは成功するが、回帰タスクでは非効率的である。本来、回帰でも高品質なラベルを生成するためには不偏的な手法が必要である。一方、信頼度が偏った方法で生成された場合、分類のためのT2Lはしばしば失敗する。この問題に対処するため、本論文では、Chebyshevの不等式に基づき、不偏なラベルを生成するための理論的に保証された制約を提案する。高品質なラベルの観点から、不偏法はT2Lの欠点を自然に回避する。特に、複数の予測を擬似ラベルとして結合するために、複数の分岐を持つ不偏擬似ラベルネットワーク（Unbiased Pseudo-labels network: UBPL network）を提案し、Chebyshev制約に基づく特徴非相関損失（Feature Decorrelation loss: FD loss）を提案する。原理的には、我々の手法は分類と回帰の両方に用いることができ、Mean Teacher、FixMatch、DualPoseなど、あらゆる半教師付きフレームワークに容易に拡張できる。我々の手法は、ポーズ推定データセットMouse、FLIC、LSPや、分類データセットCIFAR10/100、SVHNにおいて、SOTAよりも優れた性能を達成する。

要約(オリジナル)

Both semi-supervised classification and regression are practically challenging tasks for computer vision. However, semi-supervised classification methods are barely applied to regression tasks. Because the threshold-to-pseudo label process (T2L) in classification uses confidence to determine the quality of label. It is successful for classification tasks but inefficient for regression tasks. In nature, regression also requires unbiased methods to generate high-quality labels. On the other hand, T2L for classification often fails if the confidence is generated by a biased method. To address this issue, in this paper, we propose a theoretically guaranteed constraint for generating unbiased labels based on Chebyshev’s inequality, combining multiple predictions to generate superior quality labels from several inferior ones. In terms of high-quality labels, the unbiased method naturally avoids the drawback of T2L. Specially, we propose an Unbiased Pseudo-labels network (UBPL network) with multiple branches to combine multiple predictions as pseudo-labels, where a Feature Decorrelation loss (FD loss) is proposed based on Chebyshev constraint. In principle, our method can be used for both classification and regression and can be easily extended to any semi-supervised framework, e.g. Mean Teacher, FixMatch, DualPose. Our approach achieves superior performance over SOTAs on the pose estimation datasets Mouse, FLIC and LSP, as well as the classification datasets CIFAR10/100 and SVHN.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL