From Pixels to Components: Eigenvector Masking for Visual Representation Learning

要約

画像の目に見える部分からマスクされた予測は、視覚表現学習のための強力な自己監視アプローチです。
ただし、ピクセルのランダムパッチをマスキングする一般的な慣行は、特定の障害モードを示します。これにより、ダウンストリームタスクに必要な意味のある高レベル機能の学習を防ぐことができます。
生のピクセルではなく、データの適切な変換で動作する代替マスキング戦略を提案します。
具体的には、主成分分析を実行し、データ差異の固定比を説明するコンポーネントのサブセットをランダムにマスクします。
学習タスクは、目に見えるコンポーネントからマスクされたコンポーネントを再構築することになります。
ピクセルのローカルパッチと比較して、画像の主要なコンポーネントはよりグローバルな情報を提供します。
したがって、目に見えるコンポーネントからマスクされたものを予測するには、より高レベルの機能が含まれ、マスキング戦略がより便利な表現を抽出できるようにすると仮定します。
これは、ピクセルマスキングを超えるコンポーネントの画像分類パフォーマンスの改善を示す経験的発見によって裏付けられています。
したがって、私たちの方法は、従来のマスクされた画像モデリングアプローチに代わる、シンプルで堅牢なデータ駆動型の代替品を構成します。

要約(オリジナル)

Predicting masked from visible parts of an image is a powerful self-supervised approach for visual representation learning. However, the common practice of masking random patches of pixels exhibits certain failure modes, which can prevent learning meaningful high-level features, as required for downstream tasks. We propose an alternative masking strategy that operates on a suitable transformation of the data rather than on the raw pixels. Specifically, we perform principal component analysis and then randomly mask a subset of components, which accounts for a fixed ratio of the data variance. The learning task then amounts to reconstructing the masked components from the visible ones. Compared to local patches of pixels, the principal components of images carry more global information. We thus posit that predicting masked from visible components involves more high-level features, allowing our masking strategy to extract more useful representations. This is corroborated by our empirical findings which demonstrate improved image classification performance for component over pixel masking. Our method thus constitutes a simple and robust data-driven alternative to traditional masked image modeling approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google