Towards Self-Adaptive Pseudo-Label Filtering for Semi-Supervised Learning

要約

最近の半教師あり学習 (SSL) 手法には、通常、疑似ラベルの品質を向上させるためのフィルタリング戦略が含まれています。
ただし、これらのフィルタリング戦略は通常手動で作成され、モデルが更新されても変更されないため、トレーニング プロセス中に多くの正しい擬似ラベルが破棄され、誤った擬似ラベルが選択されます。
この研究では、正しい疑似ラベルと誤った疑似ラベルの信頼値の間の分布ギャップがトレーニングの最初に現れ、これを疑似ラベルのフィルタリングに利用できることが観察されました。
この観察に基づいて、トレーニング プロセス全体にわたって信頼度分布をモデル化することで、モデルの進化に従って擬似ラベル内のノイズを自動的にフィルターする自己適応擬似ラベル フィルター (SPF) を提案します。
具体的には、オンライン混合モデルを使用して、その時点の信頼分布を考慮して、正しいことの事後係数で各擬似ラベル付けサンプルを重み付けします。
以前の手作りフィルターとは異なり、当社の SPF は手動調整なしでディープ ニューラル ネットワークとともに進化します。
広範な実験により、SPF を既存の SSL メソッドに組み込むと、特にラベル付きデータが非常に少ない場合に SSL のパフォーマンスを向上できることが実証されました。

要約(オリジナル)

Recent semi-supervised learning (SSL) methods typically include a filtering strategy to improve the quality of pseudo labels. However, these filtering strategies are usually hand-crafted and do not change as the model is updated, resulting in a lot of correct pseudo labels being discarded and incorrect pseudo labels being selected during the training process. In this work, we observe that the distribution gap between the confidence values of correct and incorrect pseudo labels emerges at the very beginning of the training, which can be utilized to filter pseudo labels. Based on this observation, we propose a Self-Adaptive Pseudo-Label Filter (SPF), which automatically filters noise in pseudo labels in accordance with model evolvement by modeling the confidence distribution throughout the training process. Specifically, with an online mixture model, we weight each pseudo-labeled sample by the posterior of it being correct, which takes into consideration the confidence distribution at that time. Unlike previous handcrafted filters, our SPF evolves together with the deep neural network without manual tuning. Extensive experiments demonstrate that incorporating SPF into the existing SSL methods can help improve the performance of SSL, especially when the labeled data is extremely scarce.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google