Self-Training: A Survey

要約

半教師ありアルゴリズムは、少数のラベル付き観測値セットと大規模なラベルなし観測値セットから予測関数を学習することを目的としています。
このフレームワークは多くのアプリケーションに関連しているため、学術界と産業界の両方で大きな関心を集めています。
既存の手法の中でも、近年特に注目を集めているのがセルフトレーニング法です。
これらのモデルは、データ分布について追加の仮定を行わずに低密度領域の決定境界を見つけ、学習された分類器の符号なし出力スコアまたはそのマージンを信頼性の指標として使用するように設計されています。
自己トレーニング アルゴリズムの動作原理は、ラベルのないトレーニング サンプルのセットに特定のしきい値より大きなマージンを持って疑似ラベルを割り当てることによって、分類器を反復的に学習することです。
次に、擬似ラベル付きサンプルを使用して、ラベル付きトレーニング データを強化し、ラベル付きトレーニング セットと組み合わせて新しい分類器をトレーニングします。
この論文では、バイナリおよびマルチクラス分類のための自己学習方法を紹介します。
同様に、それらのバリアントと 2 つの関連アプローチ、つまり一貫性ベースのアプローチとトランスダクティブ学習も含まれます。
私たちは、さまざまな一般ベンチマークと画像分類ベンチマークを使用して、さまざまな方法に対する重要な自己トレーニング機能の影響を検証し、自己トレーニングにおける将来の研究のアイデアについて議論します。
私たちの知る限り、これはこのテーマに関する初めての徹底した完全な調査です。

要約(オリジナル)

Semi-supervised algorithms aim to learn prediction functions from a small set of labeled observations and a large set of unlabeled observations. Because this framework is relevant in many applications, they have received a lot of interest in both academia and industry. Among the existing techniques, self-training methods have undoubtedly attracted greater attention in recent years. These models are designed to find the decision boundary on low density regions without making additional assumptions about the data distribution, and use the unsigned output score of a learned classifier, or its margin, as an indicator of confidence. The working principle of self-training algorithms is to learn a classifier iteratively by assigning pseudo-labels to the set of unlabeled training samples with a margin greater than a certain threshold. The pseudo-labeled examples are then used to enrich the labeled training data and to train a new classifier in conjunction with the labeled training set. In this paper, we present self-training methods for binary and multi-class classification; as well as their variants and two related approaches, namely consistency-based approaches and transductive learning. We examine the impact of significant self-training features on various methods, using different general and image classification benchmarks, and we discuss our ideas for future research in self-training. To the best of our knowledge, this is the first thorough and complete survey on this subject.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google