Conformal Credal Self-Supervised Learning

要約

半教師あり学習における自己トレーニングのパラダイムは、学習者自身が提案した疑似ラベルから学習するというアイデアを指します。
さまざまなドメインにわたって、対応する方法が効果的であることが証明されており、最先端のパフォーマンスを実現しています。
ただし、疑似ラベルは通常、アドホックなヒューリスティックから派生し、予測の品質に依存しますが、その有効性は保証されません。
そのような方法の 1 つであるクレダル自己教師あり学習は、ラベル全体にわたって (単一ではなく) 確率分布のセットの形で擬似教師監視を維持するため、柔軟でありながら不確実性を意識したラベル付けが可能になります。
しかし、繰り返しになりますが、経験的な有効性を超える正当化はありません。
この欠陥に対処するために、設定値予測の妥当性を保証するアプローチである等角予測を利用します。
その結果、ラベルの認証セットの構築は厳密な理論的基盤によってサポートされ、ラベルのないデータに対するより適切な調整が行われ、エラーが発生しにくくなる監視が可能になります。
これに加えて、クレダル自己監視から学習するための効果的なアルゴリズムを紹介します。
実証研究では、擬似監視の優れたキャリブレーション特性と、いくつかのベンチマーク データセットに対する本手法の競合性が実証されています。

要約(オリジナル)

In semi-supervised learning, the paradigm of self-training refers to the idea of learning from pseudo-labels suggested by the learner itself. Across various domains, corresponding methods have proven effective and achieve state-of-the-art performance. However, pseudo-labels typically stem from ad-hoc heuristics, relying on the quality of the predictions though without guaranteeing their validity. One such method, so-called credal self-supervised learning, maintains pseudo-supervision in the form of sets of (instead of single) probability distributions over labels, thereby allowing for a flexible yet uncertainty-aware labeling. Again, however, there is no justification beyond empirical effectiveness. To address this deficiency, we make use of conformal prediction, an approach that comes with guarantees on the validity of set-valued predictions. As a result, the construction of credal sets of labels is supported by a rigorous theoretical foundation, leading to better calibrated and less error-prone supervision for unlabeled data. Along with this, we present effective algorithms for learning from credal self-supervision. An empirical study demonstrates excellent calibration properties of the pseudo-supervision, as well as the competitiveness of our method on several benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google