Hard View Selection for Contrastive Learning

要約

コントラスト学習（CL）手法の多くは、入力画像の異なる「ビュー」に対して不変なモデルを学習する。プレテキストタスク、アーキテクチャ、ロバスト性（例えば、シャムネットワークや教師ソフトマックスのセンタリング）を改善するためにかなりの努力が払われたが、これらの手法の大部分は、ランダムなリサイズクロップや色歪み操作のような、画像補強パイプライン内の操作のランダムサンプリングに強く依存している。本論文では、ビュー生成の役割と性能への影響について、これまでのところ十分な注意が払われていないと主張する。これを解決するために、我々は、CLトレーニング中に事前学習されたモデルをより困難なサンプルにさらすためにランダムビュー生成を拡張するように設計された、簡単で、学習不要で、かつ強力なハードビュー選択（HVS）戦略を提案する。HVSは以下の反復ステップを含む：1)複数のビューをランダムにサンプリングし、2つのビューのペアを作成、2)現在学習済みのモデルで各ビューのペアに対してフォワードパスを実行、3)最悪の損失をもたらすペアを敵対的に選択、4)選択したペアでバックワードパスを実行。我々の実証分析では、HVSは事前訓練中にビューのユニオンに対するインターセクションを制御することで、タスクの難易度を高めていることを示す。わずか300エポックのプリトレーニングで、HVSは800エポックのDINOベースラインと拮抗することができ、HVSのフォワード追加による速度低下を考慮しても非常に有利なままである。さらに、HVSはImageNetにおいて、線形評価で0.4%から1.9%の精度向上を一貫して達成し、DINO、SimSiam、SimCLRなどの複数のCL手法においても、転送タスクで同様の向上を達成している。

要約(オリジナル)

Many Contrastive Learning (CL) methods train their models to be invariant to different ‘views’ of an image input for which a good data augmentation pipeline is crucial. While considerable efforts were directed towards improving pre-text tasks, architectures, or robustness (e.g., Siamese networks or teacher-softmax centering), the majority of these methods remain strongly reliant on the random sampling of operations within the image augmentation pipeline, such as the random resized crop or color distortion operation. In this paper, we argue that the role of the view generation and its effect on performance has so far received insufficient attention. To address this, we propose an easy, learning-free, yet powerful Hard View Selection (HVS) strategy designed to extend the random view generation to expose the pretrained model to harder samples during CL training. It encompasses the following iterative steps: 1) randomly sample multiple views and create pairs of two views, 2) run forward passes for each view pair on the currently trained model, 3) adversarially select the pair yielding the worst loss, and 4) run the backward pass with the selected pair. In our empirical analysis we show that under the hood, HVS increases task difficulty by controlling the Intersection over Union of views during pretraining. With only 300-epoch pretraining, HVS is able to closely rival the 800-epoch DINO baseline which remains very favorable even when factoring in the slowdown induced by the additional forwards of HVS. Additionally, HVS consistently achieves accuracy improvements on ImageNet between 0.4% and 1.9% on linear evaluation and similar improvements on transfer tasks across multiple CL methods, such as DINO, SimSiam, and SimCLR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL