Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

要約

タイトル：画像からの自己教師あり学習：共通埋め込み予測アーキテクチャを用いたもの
要約：
– 手作りのデータ拡張に頼らず、高度な意味を持つ画像表現を学習する手法を示します。
– 画像ベースの共通埋め込み予測アーキテクチャ（I-JEPA）という自己教師あり学習の非生成的アプローチを紹介しています。
– I-JEPAのアイデアはシンプルで、単一のコンテキストブロックから同じ画像の様々なターゲットブロックの表現を予測することです。
– I-JEPAが意味的な表現を生成するように導くための中心的な設計選択肢は、マスキング戦略です。特に、(a)十分なスケール（意味的）でターゲットブロックをサンプリングし、(b)十分に情報を持つ（空間的に分散した）コンテキストブロックを使用することが重要です。
– 実証的には、Vision Transformersと組み合わせると、I-JEPAは高度にスケーラブルであることがわかりました。例えば、16 A100 GPUを使用して72時間以内にImageNetでViT-Huge/14をトレーニングして、線形分類からオブジェクトカウントと深度予測まで、幅広いタスクで強力なダウンストリームパフォーマンスを達成しました。

要約(オリジナル)

This paper demonstrates an approach for learning highly semantic image representations without relying on hand-crafted data-augmentations. We introduce the Image-based Joint-Embedding Predictive Architecture (I-JEPA), a non-generative approach for self-supervised learning from images. The idea behind I-JEPA is simple: from a single context block, predict the representations of various target blocks in the same image. A core design choice to guide I-JEPA towards producing semantic representations is the masking strategy; specifically, it is crucial to (a) sample target blocks with sufficiently large scale (semantic), and to (b) use a sufficiently informative (spatially distributed) context block. Empirically, when combined with Vision Transformers, we find I-JEPA to be highly scalable. For instance, we train a ViT-Huge/14 on ImageNet using 16 A100 GPUs in under 72 hours to achieve strong downstream performance across a wide range of tasks, from linear classification to object counting and depth prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI