A Closer Look at Invariances in Self-supervised Pre-training for 3D Vision

要約

3Dビジョンの自己監視による事前トレーニングは、近年、研究への関心を高めています。
有益な表現を学ぶために、以前の多くの作品は、3D機能の不変性を利用しています。たとえば、同じシーンのビュー間の遠近法の不変性、深度とRGB画像間のモダリティの不変性、点群とボクセル間の形式の不変性などです。
それらは有望な結果を達成しましたが、以前の研究はこれらの不変性の体系的かつ公正な比較を欠いています。
この問題に対処するために、私たちの仕事は初めて、さまざまな事前トレーニング方法を調査できる統一されたフレームワークを導入します。
広範な実験を実施し、3D事前トレーニングにおけるさまざまな不変性の寄与を詳しく調べます。
また、対照学習を使用して3Dエンコーダーと深度マップエンコーダーを共同で事前トレーニングするシンプルで効果的な方法を提案します。
私たちの方法で事前にトレーニングされたモデルは、ダウンストリームタスクで大幅なパフォーマンスの向上をもたらします。
たとえば、事前にトレーニングされたVoteNetは、SUNRGB-DおよびScanNetオブジェクト検出ベンチマークの以前の方法を明確なマージンで上回っています。

要約(オリジナル)

Self-supervised pre-training for 3D vision has drawn increasing research interest in recent years. In order to learn informative representations, a lot of previous works exploit invariances of 3D features, e.g., perspective-invariance between views of the same scene, modality-invariance between depth and RGB images, format-invariance between point clouds and voxels. Although they have achieved promising results, previous researches lack a systematic and fair comparison of these invariances. To address this issue, our work, for the first time, introduces a unified framework, under which various pre-training methods can be investigated. We conduct extensive experiments and provide a closer look at the contributions of different invariances in 3D pre-training. Also, we propose a simple but effective method that jointly pre-trains a 3D encoder and a depth map encoder using contrastive learning. Models pre-trained with our method gain significant performance boost in downstream tasks. For instance, a pre-trained VoteNet outperforms previous methods on SUN RGB-D and ScanNet object detection benchmarks with a clear margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google