MaxMatch: Semi-Supervised Learning with Worst-Case Consistency

要約

近年、半教師あり学習 (SSL) を介して非効率的な教師あり問題を克服するために、ラベルのないデータを組み込む大きな進歩がありました。
最先端のモデルのほとんどは、入力ノイズに対してラベルのないデータに対して一貫したモデル予測を追求するという考えに基づいています。これは、一貫性の正則化と呼ばれます。
それにもかかわらず、その成功の背後にある理由についての理論的な洞察が不足しています。
理論上の結果と実際の結果の間のギャップを埋めるために、このホワイト ペーパーでは、SSL の最悪の場合の整合性正則化手法を提案します。
具体的には、最初に、ラベル付けされたトレーニングデータとラベル付けされていないトレーニングデータで別々に観察された経験的な損失項からなる SSL の一般化を提示します。
この境界に動機付けられて、元のラベルのないサンプルとその複数の拡張されたバリアントとの間の最大の不一致を最小限に抑える SSL 目標を導き出します。
次に、提案されたミニマックス問題を解決するためのシンプルだが効果的なアルゴリズムを提供し、それが定常点に収束することを理論的に証明します。
5 つの一般的なベンチマーク データセットでの実験により、提案された方法の有効性が検証されます。

要約(オリジナル)

In recent years, great progress has been made to incorporate unlabeled data to overcome the inefficiently supervised problem via semi-supervised learning (SSL). Most state-of-the-art models are based on the idea of pursuing consistent model predictions over unlabeled data toward the input noise, which is called consistency regularization. Nonetheless, there is a lack of theoretical insights into the reason behind its success. To bridge the gap between theoretical and practical results, we propose a worst-case consistency regularization technique for SSL in this paper. Specifically, we first present a generalization bound for SSL consisting of the empirical loss terms observed on labeled and unlabeled training data separately. Motivated by this bound, we derive an SSL objective that minimizes the largest inconsistency between an original unlabeled sample and its multiple augmented variants. We then provide a simple but effective algorithm to solve the proposed minimax problem, and theoretically prove that it converges to a stationary point. Experiments on five popular benchmark datasets validate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google