RDA: Reciprocal Distribution Alignment for Robust SSL

要約

本研究では、半教師付き学習（SSL）に対応するために、信頼閾値に依存せず、クラス分布が一致した場合（従来）と不一致の場合の両方で動作するハイパーパラメータ不要のフレームワークであるReciprocal Distribution Alignment (RDA)を提案する。分布の不一致は見落とされがちだが、より一般的なSSLシナリオであり、ラベル付きデータとラベル無しデータが同一のクラス分布に属さない場合である。これは、モデルがラベル付きデータを確実に利用できなくなる可能性があり、SSL手法の性能を劇的に低下させる。このような事態は、従来の分布アライメントでは救うことができなかった。RDAでは、ラベル無しデータに対して擬似ラベルと補完ラベルを予測する2つの分類器からの予測値の分布に対して、相互のアライメントを強制する。この2つの分布は補完的な情報を持っているため、クラス分布の事前分布がなくても互いの正則化に利用することが可能である。さらに、RDAが入出力相互情報を最大化することを理論的に示す。本アプローチは，従来のマッチドSSLと同様に，分布が不一致の様々なシナリオにおいて，SSLにおける有望な性能を達成することができる．我々のコードは、https://github.com/NJUyued/RDA4RobustSSL で入手可能である。

要約(オリジナル)

In this work, we propose Reciprocal Distribution Alignment (RDA) to address semi-supervised learning (SSL), which is a hyperparameter-free framework that is independent of confidence threshold and works with both the matched (conventionally) and the mismatched class distributions. Distribution mismatch is an often overlooked but more general SSL scenario where the labeled and the unlabeled data do not fall into the identical class distribution. This may lead to the model not exploiting the labeled data reliably and drastically degrade the performance of SSL methods, which could not be rescued by the traditional distribution alignment. In RDA, we enforce a reciprocal alignment on the distributions of the predictions from two classifiers predicting pseudo-labels and complementary labels on the unlabeled data. These two distributions, carrying complementary information, could be utilized to regularize each other without any prior of class distribution. Moreover, we theoretically show that RDA maximizes the input-output mutual information. Our approach achieves promising performance in SSL under a variety of scenarios of mismatched distributions, as well as the conventional matched SSL setting. Our code is available at: https://github.com/NJUyued/RDA4RobustSSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL