From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning

要約

近年、自己教師あり対照学習が、人工知能の分野における際立ったパラダイムとして台頭してきました。
インスタンス レベルでの対照的な描写を通じて、教師なし特徴学習を促進します。
しかし、効果的な自己監視型パラダイムを構築することは、依然としてこの分野における極めて重要な課題です。
この論文では、自己教師あり対比学習のバッチ サイズと口実タスクに影響を与える 2 つの重要な要素を詳しく掘り下げ、データ処理の観点からバッチ フュージョンの適応手法を提案します。
提案された方法は、バッチ データの次元削減と再構築を介して、以前は分離されていた個別のデータが埋め込み層を介してバッチ内通信に参加できるようにします。
さらに、トレーニングが進行するにつれて、自己教師あり特徴エンコーディング能力を適応的に増幅します。
ImageNet-1k の古典的な対照学習フレームワークに基づいて、この方法の線形分類テストを実施しました。
経験的な発見は、私たちのアプローチが公平な比較の下で最先端のパフォーマンスを達成することを示しています。
その「プラグアンドプレイ」特性を利用して、他の対照的な学習方法をさらに調査しました。
ImageNet-100 では、元のパフォーマンスと比較して、トップ 1 は最大 1.25% の増加が見られます。
提案された手法がデータ駆動型の自己教師あり学習研究の進歩に貢献し、このコミュニティに新たな視点をもたらす可能性があることを示唆します。

要約(オリジナル)

In recent years, self-supervised contrastive learning has emerged as a distinguished paradigm in the artificial intelligence landscape. It facilitates unsupervised feature learning through contrastive delineations at the instance level. However, crafting an effective self-supervised paradigm remains a pivotal challenge within this field. This paper delves into two crucial factors impacting self-supervised contrastive learning-bach size and pretext tasks, and from a data processing standpoint, proposes an adaptive technique of batch fusion. The proposed method, via dimensionality reduction and reconstruction of batch data, enables formerly isolated individual data to partake in intra-batch communication through the Embedding Layer. Moreover, it adaptively amplifies the self-supervised feature encoding capability as the training progresses. We conducted a linear classification test of this method based on the classic contrastive learning framework on ImageNet-1k. The empirical findings illustrate that our approach achieves state-of-the-art performance under equitable comparisons. Benefiting from its ‘plug-and-play’ characteristics, we further explored other contrastive learning methods. On the ImageNet-100, compared to the original performance, the top1 has seen a maximum increase of 1.25%. We suggest that the proposed method may contribute to the advancement of data-driven self-supervised learning research, bringing a fresh perspective to this community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google