VICRegL: Self-Supervised Learning of Local Visual Features

要約

最近の画像表現学習のための自己教師付き手法は、不変性を持つ大域的な特徴を生成するか、局所的な特徴の集合を生成するかのどちらかに焦点を合わせている。前者は分類タスクに最適であり、後者は検出とセグメンテーションタスクに最適である。本論文では、局所特徴量と大域特徴量の学習の間の基本的なトレードオフを探索する。本論文では、大域的特徴と局所的特徴を同時に学習することにより、分類タスクの性能を維持しつつ、検出タスクとセグメンテーションタスクで優れた性能を発揮するVICRegLと呼ばれる新しい手法を提案する。具体的には、標準的な畳み込み網アーキテクチャの2つの同じ枝に、同じ画像の異なる歪んだバージョンを入力する。VICReg基準は大域的特徴ベクトルのペアに適用される。同時に、VICReg基準は最後のプーリング層の前に発生する局所特徴ベクトルのペアに適用される。2つの局所特徴ベクトルは、そのl2-距離が閾値以下であるか、その相対位置が2つの入力画像間の既知の幾何学的変換に一致する場合に、互いに引き寄せられる。我々は、線形分類とセグメンテーションの転送タスクにおいて、強力な性能を実証する。コードと事前学習済みモデルは以下のサイトで公開されている： https://github.com/facebookresearch/VICRegL

要約(オリジナル)

Most recent self-supervised methods for learning image representations focus on either producing a global feature with invariance properties, or producing a set of local features. The former works best for classification tasks while the latter is best for detection and segmentation tasks. This paper explores the fundamental trade-off between learning local and global features. A new method called VICRegL is proposed that learns good global and local features simultaneously, yielding excellent performance on detection and segmentation tasks while maintaining good performance on classification tasks. Concretely, two identical branches of a standard convolutional net architecture are fed two differently distorted versions of the same image. The VICReg criterion is applied to pairs of global feature vectors. Simultaneously, the VICReg criterion is applied to pairs of local feature vectors occurring before the last pooling layer. Two local feature vectors are attracted to each other if their l2-distance is below a threshold or if their relative locations are consistent with a known geometric transformation between the two input images. We demonstrate strong performance on linear classification and segmentation transfer tasks. Code and pretrained models are publicly available at: https://github.com/facebookresearch/VICRegL

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL