RDA: Reciprocal Distribution Alignment for Robust Semi-supervised Learning

要約

この作業では、半教師あり学習 (SSL) に対処するための Reciprocal Distribution Alignment (RDA) を提案します。これは、信頼しきい値に依存せず、一致した (従来の) クラス分布と不一致のクラス分布の両方で機能する、ハイパーパラメーターを使用しないフレームワークです。
分布の不一致は見過ごされがちですが、より一般的な SSL シナリオであり、ラベル付けされたデータとラベル付けされていないデータが同一のクラス分布に分類されません。
これにより、モデルがラベル付きデータを確実に活用できなくなり、SSL メソッドのパフォーマンスが大幅に低下する可能性があります。これは、従来のディストリビューションの調整では解決できませんでした。
RDA では、ラベル付けされていないデータの疑似ラベルと補完ラベルを予測する 2 つの分類子からの予測の分布に相互アライメントを適用します。
補完的な情報を運ぶこれらの 2 つの分布は、クラス分布の前もってなく、互いを正則化するために利用できます。
さらに、RDA が入出力相互情報量を最大化することを理論的に示します。
私たちのアプローチは、従来の一致した SSL 設定と同様に、ディストリビューションが一致しないさまざまなシナリオの下で、SSL で有望なパフォーマンスを実現します。
コードは https://github.com/NJUyued/RDA4RobustSSL で入手できます。

要約(オリジナル)

In this work, we propose Reciprocal Distribution Alignment (RDA) to address semi-supervised learning (SSL), which is a hyperparameter-free framework that is independent of confidence threshold and works with both the matched (conventionally) and the mismatched class distributions. Distribution mismatch is an often overlooked but more general SSL scenario where the labeled and the unlabeled data do not fall into the identical class distribution. This may lead to the model not exploiting the labeled data reliably and drastically degrade the performance of SSL methods, which could not be rescued by the traditional distribution alignment. In RDA, we enforce a reciprocal alignment on the distributions of the predictions from two classifiers predicting pseudo-labels and complementary labels on the unlabeled data. These two distributions, carrying complementary information, could be utilized to regularize each other without any prior of class distribution. Moreover, we theoretically show that RDA maximizes the input-output mutual information. Our approach achieves promising performance in SSL under a variety of scenarios of mismatched distributions, as well as the conventional matched SSL setting. Our code is available at: https://github.com/NJUyued/RDA4RobustSSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google