GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning

要約

自己教師あり学習は、大量のラベルなしデータを利用するための一般的で強力な方法であり、そのためのさまざまなトレーニング目的が文献で提案されています。
この研究では、最先端の自己教師あり学習目標のベイジアン分析を実行し、尤度学習に基づく統一された定式化を提案します。
私たちの分析は、自己教師あり学習を生成モデルと統合するための簡単な方法を提案し、これら 2 つの一見異なるアプローチの共同トレーニングを可能にします。
この結合されたフレームワークを GEDI と呼びます。これは、GEnerative and Discriminative training の略です。
さらに、エネルギーベースのモデルをクラスターベースの自己教師あり学習モデルと統合することにより、GEDI フレームワークのインスタンス化を示します。
SVHN、CIFAR10、CIFAR100 などの合成データと実世界データの実験を通じて、クラスタリング パフォーマンスの点で、GEDI が既存の自己教師あり学習戦略よりも大幅に優れていることを示しています。
また、GEDI をニューラル シンボリック フレームワークに統合して、小さなデータ体制のタスクに対処できることも示します。この場合、論理的制約を使用して、クラスタリングと分類のパフォーマンスをさらに向上させることができます。

要約(オリジナル)

Self-supervised learning is a popular and powerful method for utilizing large amounts of unlabeled data, for which a wide variety of training objectives have been proposed in the literature. In this study, we perform a Bayesian analysis of state-of-the-art self-supervised learning objectives and propose a unified formulation based on likelihood learning. Our analysis suggests a simple method for integrating self-supervised learning with generative models, allowing for the joint training of these two seemingly distinct approaches. We refer to this combined framework as GEDI, which stands for GEnerative and DIscriminative training. Additionally, we demonstrate an instantiation of the GEDI framework by integrating an energy-based model with a cluster-based self-supervised learning model. Through experiments on synthetic and real-world data, including SVHN, CIFAR10, and CIFAR100, we show that GEDI outperforms existing self-supervised learning strategies in terms of clustering performance by a wide margin. We also demonstrate that GEDI can be integrated into a neural-symbolic framework to address tasks in the small data regime, where it can use logical constraints to further improve clustering and classification performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google