Adaptive Soft Contrastive Learning

要約

自己教師あり学習は、最近、人間の注釈なしの表現学習で大きな成功を収めています。
対照的な学習である主な方法は、一般にインスタンス識別タスクに基づいています。つまり、個々のサンプルは独立したカテゴリとして扱われます。
ただし、すべてのサンプルが異なると仮定すると、同じ犬の複数のビューなど、一般的な視覚データセット内の類似したサンプルの自然なグループ化と矛盾します。
ギャップを埋めるために、この論文は、ソフトサンプル間関係を導入する適応方法、すなわち適応ソフト対照学習（ASCL）を提案します。
より具体的には、ASCLは、元のインスタンス識別タスクをマルチインスタンスソフト識別タスクに変換し、サンプル間の関係を適応的に導入します。
ASCLは、既存の自己教師あり学習フレームワーク用の効果的で簡潔なプラグインモジュールとして、パフォーマンスと効率の両方の観点から、いくつかのベンチマークで最高のパフォーマンスを実現します。
コードはhttps://github.com/MrChenFeng/ASCL_ICPR2022で入手できます。

要約(オリジナル)

Self-supervised learning has recently achieved great success in representation learning without human annotations. The dominant method — that is contrastive learning, is generally based on instance discrimination tasks, i.e., individual samples are treated as independent categories. However, presuming all the samples are different contradicts the natural grouping of similar samples in common visual datasets, e.g., multiple views of the same dog. To bridge the gap, this paper proposes an adaptive method that introduces soft inter-sample relations, namely Adaptive Soft Contrastive Learning (ASCL). More specifically, ASCL transforms the original instance discrimination task into a multi-instance soft discrimination task, and adaptively introduces inter-sample relations. As an effective and concise plug-in module for existing self-supervised learning frameworks, ASCL achieves the best performance on several benchmarks in terms of both performance and efficiency. Code is available at https://github.com/MrChenFeng/ASCL_ICPR2022.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google