Adaptive Data Augmentation for Contrastive Learning

要約

タイトル：コントラスティブ学習のための適応的なデータ拡張
要約：コンピュータビジョンでは、コントラスティブ学習が最も進んだ教師なし学習のフレームワークである。しかし、以前のほとんどの方法は、単にデータ効率性を向上させるために固定されたデータ拡張を適用するだけであり、トレーニング中の最適な設定の変化を無視している。したがって、拡張操作の事前に決定されたパラメータは、進化するネットワークに常に適合するわけではないため、学習された表現の品質が低下する。本論文では、AdDAを提案する。AdDAは一般的なコントラスティブ学習ネットワークに閉ループフィードバック構造を実装することによって機能する。AdDAは、リアルタイムのフィードバックに従って適応的に拡張構成を調整することによって機能する。このオンライン調整は、動的な最適構成を維持するのに役立ち、最小限の計算オーバーヘッドで汎化性の高い表現を獲得できるようになる。AdDAは、ImageNet-100分類の一般的な線形プロトコルで競合力のある結果を達成（MoCo v2で+1.11%）。

要点：

・コントラスティブ学習は現在最も進んだ教師なし学習のフレームワーク
・以前の多くの方法では、固定されたデータ拡張を適用しており、最適な設定の変化を無視していた
・AdDAは、閉ループフィードバック構造を実装することで、適応的なデータ拡張を提供する
・リアルタイムのフィードバックに従って、ネットワークが拡張構成を適応的に調整することができる
・AdDAは、ImageNet-100分類の線形プロトコルで競合力のある結果を提供している

要約(オリジナル)

In computer vision, contrastive learning is the most advanced unsupervised learning framework. Yet most previous methods simply apply fixed composition of data augmentations to improve data efficiency, which ignores the changes in their optimal settings over training. Thus, the pre-determined parameters of augmentation operations cannot always fit well with an evolving network during the whole training period, which degrades the quality of the learned representations. In this work, we propose AdDA, which implements a closed-loop feedback structure to a generic contrastive learning network. AdDA works by allowing the network to adaptively adjust the augmentation compositions according to the real-time feedback. This online adjustment helps maintain the dynamic optimal composition and enables the network to acquire more generalizable representations with minimal computational overhead. AdDA achieves competitive results under the common linear protocol on ImageNet-100 classification (+1.11% on MoCo v2).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI