Variational Self-Supervised Contrastive Learning Using Beta Divergence

要約

ラベルのないノイズの多いデータを使用した識別意味空間の学習は、マルチラベル設定では未解決のままです。
変分法の領域に基づいた、データノイズに強い対照的な自己教師あり学習方法を提案します。
この方法 (VCL) は、ベータ発散による変分対比学習を利用して、キュレーションされていないノイズの多いデータセットを含む、ラベルのないデータセットから堅牢に学習します。
顔理解領域におけるマルチラベルデータセットを使用した線形評価とシナリオの微調整を含む厳密な実験を通じて、提案された方法の有効性を実証します。
ほとんどすべてのテスト済みシナリオで、VCL は最先端の自己教師あり手法のパフォーマンスを上回り、顕著な精度の向上を達成しました。

要約(オリジナル)

Learning a discriminative semantic space using unlabelled and noisy data remains unaddressed in a multi-label setting. We present a contrastive self-supervised learning method which is robust to data noise, grounded in the domain of variational methods. The method (VCL) utilizes variational contrastive learning with beta-divergence to learn robustly from unlabelled datasets, including uncurated and noisy datasets. We demonstrate the effectiveness of the proposed method through rigorous experiments including linear evaluation and fine-tuning scenarios with multi-label datasets in the face understanding domain. In almost all tested scenarios, VCL surpasses the performance of state-of-the-art self-supervised methods, achieving a noteworthy increase in accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google