CroCo: Self-Supervised Pre-training for 3D Vision Tasks by Cross-View Completion

要約

マスク イメージ モデリング (MIM) は、強力な事前トレーニング パラダイムとして最近確立されました。
口実タスクは、入力画像のパッチをマスキングすることによって構築され、このマスクされたコンテンツは、目に見えるパッチを唯一の入力として使用するニューラル ネットワークによって予測されます。
この事前トレーニングは、高レベルのセマンティック タスク用に微調整されると、最先端のパフォーマンスにつながります。
画像分類とオブジェクト検出。
この論文では、代わりに、深度予測やオプティカル フロー推定など、さまざまな 3D ビジョンや低レベルのジオメトリック ダウンストリーム タスクにうまく移行する表現を学習しようとします。
MIM に着想を得て、異なる視点から同じシーンを示す画像のペアからトレーニングされた教師なし表現学習タスクを提案します。
より正確には、最初の入力画像が部分的にマスクされ、このマスクされたコンテンツが可視コンテンツと 2 番目の画像から再構築されなければならないクロスビュー補完の口実タスクを提案します。
シングルビュー MIM では、マスクされたコンテンツは、目に見える部分だけからは正確に推測できないことが多いため、モデルは高レベルのセマンティクスの影響を受ける事前確率として機能することを学習します。
対照的に、このあいまいさは、モデルが 2 つの画像間の空間的関係を理解できるという条件で、2 番目のマスクされていない画像からのクロスビューの完了で解決できます。
私たちの実験は、口実タスクが深度推定などの単眼 3D ビジョン ダウンストリーム タスクのパフォーマンスを大幅に改善することを示しています。
さらに、私たちのモデルは、オプティカル フローや相対カメラ ポーズ推定などの両眼のダウンストリーム タスクに直接適用できます。このタスクでは、追加機能なしで競争力のある結果を得ることができます。つまり、タスク固有の設計のない汎用アーキテクチャを使用します。

要約(オリジナル)

Masked Image Modeling (MIM) has recently been established as a potent pre-training paradigm. A pretext task is constructed by masking patches in an input image, and this masked content is then predicted by a neural network using visible patches as sole input. This pre-training leads to state-of-the-art performance when finetuned for high-level semantic tasks, e.g. image classification and object detection. In this paper we instead seek to learn representations that transfer well to a wide variety of 3D vision and lower-level geometric downstream tasks, such as depth prediction or optical flow estimation. Inspired by MIM, we propose an unsupervised representation learning task trained from pairs of images showing the same scene from different viewpoints. More precisely, we propose the pretext task of cross-view completion where the first input image is partially masked, and this masked content has to be reconstructed from the visible content and the second image. In single-view MIM, the masked content often cannot be inferred precisely from the visible portion only, so the model learns to act as a prior influenced by high-level semantics. In contrast, this ambiguity can be resolved with cross-view completion from the second unmasked image, on the condition that the model is able to understand the spatial relationship between the two images. Our experiments show that our pretext task leads to significantly improved performance for monocular 3D vision downstream tasks such as depth estimation. In addition, our model can be directly applied to binocular downstream tasks like optical flow or relative camera pose estimation, for which we obtain competitive results without bells and whistles, i.e., using a generic architecture without any task-specific design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google