FlexSSL : A Generic and Efficient Framework for Semi-Supervised Learning

要約

半教師あり学習は、ラベルなしデータと高価なラベル付きデータの両方を活用できるため、多くの実世界のアプリケーションで大きな可能性を秘めています。
ただし、ほとんどの半教師あり学習アルゴリズムは、ラベルなしデータから隠された情報を推論して利用するために、依然として限られたラベル付きデータに大きく依存しています。
自己訓練パラダイムの下での半教師あり学習タスクには、ラベルの可観測性を識別するという補助タスクも隠蔽されていることに注意してください。
これら 2 つのタスクを共同で解決すると、ラベル付きデータとラベルなしデータの両方からの情報を最大限に活用できるため、ラベル付きデータへの過度の依存の問題が軽減されます。
これは当然のことながら、ドメイン固有の情報に依存しない、新しい汎用的で効率的な学習フレームワーク (FlexSSL と呼ばれます) につながります。
FlexSSL の重要なアイデアは、半協力的な「ゲーム」を構築することです。これは、メインの自己関心のある半教師あり学習タスクと、メイン タスクのトレーニングを促進するためにラベルの可観測性を推論する付随タスクとの間の協力を強化します。
ノイズの多いラベルの損失再重み付けとの関係を理論的に導出して示します。
さまざまなタスクの評価を通じて、FlexSSL が半教師あり学習アルゴリズムのパフォーマンスを一貫して向上できることを実証しました。

要約(オリジナル)

Semi-supervised learning holds great promise for many real-world applications, due to its ability to leverage both unlabeled and expensive labeled data. However, most semi-supervised learning algorithms still heavily rely on the limited labeled data to infer and utilize the hidden information from unlabeled data. We note that any semi-supervised learning task under the self-training paradigm also hides an auxiliary task of discriminating label observability. Jointly solving these two tasks allows full utilization of information from both labeled and unlabeled data, thus alleviating the problem of over-reliance on labeled data. This naturally leads to a new generic and efficient learning framework without the reliance on any domain-specific information, which we call FlexSSL. The key idea of FlexSSL is to construct a semi-cooperative ‘game’, which forges cooperation between a main self-interested semi-supervised learning task and a companion task that infers label observability to facilitate main task training. We show with theoretical derivation of its connection to loss re-weighting on noisy labels. Through evaluations on a diverse range of tasks, we demonstrate that FlexSSL can consistently enhance the performance of semi-supervised learning algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google