Hard View Selection for Self-Supervised Learning

要約

多くの自己教師あり学習（SSL）手法は、優れたデータ増強パイプラインが重要である画像入力の異なる「ビュー」に対して不変であるようにモデルを学習する。プレテキストタスク、アーキテクチャ、あるいはロバスト性（例えばシャムネットワークや教師ソフトマックスセンタリング）の改善に向けて多大な努力が払われた一方で、これらの手法の大部分は、ランダムなリサイズ切り抜きや色歪み操作のような、画像補強パイプライン内の操作のランダムサンプリングに強く依存したままである。本論文では、ビュー生成の役割と性能への影響について、これまでのところ十分な注意が払われていないと主張する。これを解決するために、我々は、SSLトレーニング中に事前学習されたモデルをより難しいサンプルにさらすために、ランダムビュー生成を拡張するように設計された、簡単で、学習不要で、かつ強力なハードビュー選択（HVS）戦略を提案する。HVSは以下の反復ステップを含む：1)複数のビューをランダムにサンプリングし、2つのビューのペアを作成、2)現在学習済みのモデルで各ビューのペアに対してフォワードパスを実行、3)最悪の損失をもたらすペアを敵対的に選択、4)選択したペアでバックワードパスを実行。我々の実証分析では、HVSは事前訓練中にビューのユニオンに対するインターセクションを制御することで、タスクの難易度を高めていることを示す。わずか300エポックのプリトレーニングで、HVSは800エポックのDINOベースラインと拮抗することができ、HVSのフォワード追加による速度低下を考慮しても非常に有利なままである。さらに、HVSはImageNetにおいて、線形評価で0.4%から1.9%の精度向上を一貫して達成し、DINO、SimSiam、iBOT、SimCLRといった複数のSSL手法においても、転送タスクで同様の精度向上を達成している。

要約(オリジナル)

Many Self-Supervised Learning (SSL) methods train their models to be invariant to different ‘views’ of an image input for which a good data augmentation pipeline is crucial. While considerable efforts were directed towards improving pre-text tasks, architectures, or robustness (e.g., Siamese networks or teacher-softmax centering), the majority of these methods remain strongly reliant on the random sampling of operations within the image augmentation pipeline, such as the random resized crop or color distortion operation. In this paper, we argue that the role of the view generation and its effect on performance has so far received insufficient attention. To address this, we propose an easy, learning-free, yet powerful Hard View Selection (HVS) strategy designed to extend the random view generation to expose the pretrained model to harder samples during SSL training. It encompasses the following iterative steps: 1) randomly sample multiple views and create pairs of two views, 2) run forward passes for each view pair on the currently trained model, 3) adversarially select the pair yielding the worst loss, and 4) run the backward pass with the selected pair. In our empirical analysis we show that under the hood, HVS increases task difficulty by controlling the Intersection over Union of views during pretraining. With only 300-epoch pretraining, HVS is able to closely rival the 800-epoch DINO baseline which remains very favorable even when factoring in the slowdown induced by the additional forwards of HVS. Additionally, HVS consistently achieves accuracy improvements on ImageNet between 0.4% and 1.9% on linear evaluation and similar improvements on transfer tasks across multiple SSL methods, such as DINO, SimSiam, iBOT, and SimCLR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL