Adaptive Data Augmentation for Contrastive Learning

要約

タイトル：対照的学習のための適応的データ拡張
要約：
– コンピュータビジョンにおいて、対照的学習は最も先進的な非監視学習フレームワークの1つである。
– しかし、ほとんどの前処理手法ではデータの効率性を改善するために固定された拡張を単に適用するだけであり、訓練中の最適な設定の変更を無視している。
– そのため、前処理操作の事前に定められたパラメーターは、進化するネットワークに常に適合するわけではなく、学習された表現の品質を低下させることがある。
– この研究では、AdDAを提案する。これは、一般的な対照的学習ネットワークについて閉ループフィードバック構造を実装する。
– AdDAは、リアルタイムフィードバックに応じて拡張構成を適応的に調整させることによって機能する。このオンライン調整により、動的な最適構成を維持し、最小限の計算オーバーヘッドでネットワークが汎化性のある表現を取得できるようになる。
– AdDAは、ImageNet-100分類の一般的な線形プロトコルで優れた結果を得ており、MoCo v2では+1.11％を達成している。

要約のポイント：
– 対照的学習は最先端の非監視学習フレームワークの1つ
– 前処理によって画像データの効率性を改善する前処理手法は、ノードとデータセットが進化するにつれて最適設定が変わることを無視する
– そこで、AdDAの新しい手法を提案。これにより、ネットワークが最適な前処理操作の組み合わせを維持できるようになり、汎化性の高い表現を得ることができる。また、この手法は、Minimal Computational overheadである。

要約(オリジナル)

In computer vision, contrastive learning is the most advanced unsupervised learning framework. Yet most previous methods simply apply fixed composition of data augmentations to improve data efficiency, which ignores the changes in their optimal settings over training. Thus, the pre-determined parameters of augmentation operations cannot always fit well with an evolving network during the whole training period, which degrades the quality of the learned representations. In this work, we propose AdDA, which implements a closed-loop feedback structure to a generic contrastive learning network. AdDA works by allowing the network to adaptively adjust the augmentation compositions according to the real-time feedback. This online adjustment helps maintain the dynamic optimal composition and enables the network to acquire more generalizable representations with minimal computational overhead. AdDA achieves competitive results under the common linear protocol on ImageNet-100 classification (+1.11% on MoCo v2).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI