PiMAE: Point Cloud and Image Interactive Masked Autoencoders for 3D Object Detection

要約

マスクされたオートエンコーダーは、強力な視覚的表現を学習し、いくつかの独立したモダリティで最先端の結果を達成しますが、マルチモダリティ設定での機能に対処した研究はほとんどありません。
この作業では、点群と RGB 画像データ (現実の世界で一緒に提示されることが多い 2 つのモダリティ) に焦点を当て、それらの有意義な相互作用を探ります。
既存の作品のクロスモーダル相乗効果を改善するために、3 つの側面を通じて 3D と 2D の相互作用を促進する自己監視型の事前トレーニング フレームワークである PiMAE を提案します。
具体的には、最初に 2 つのソース間のマスキング戦略の重要性に気付き、投影モジュールを利用して 2 つのモダリティのマスクと可視トークンを補完的に整列させます。
次に、巧妙に作成された 2 分岐 MAE パイプラインと新しい共有デコーダーを利用して、マスク トークンのクロスモダリティ相互作用を促進します。
最後に、独自のクロスモーダル再構成モジュールを設計して、両方のモダリティの表現学習を強化します。
大規模な RGB-D シーン理解ベンチマーク (SUN RGB-D および ScannetV2) で実行された広範な実験を通じて、複数の 3D 検出器、2D 検出器、およびいくつかの検出器を大幅に改善する点画像の特徴を対話的に学習することは自明ではありません。
分類子をそれぞれ 2.9%、6.7%、および 2.4% ずつショットします。
コードは https://github.com/BLVLab/PiMAE で入手できます。

要約(オリジナル)

Masked Autoencoders learn strong visual representations and achieve state-of-the-art results in several independent modalities, yet very few works have addressed their capabilities in multi-modality settings. In this work, we focus on point cloud and RGB image data, two modalities that are often presented together in the real world, and explore their meaningful interactions. To improve upon the cross-modal synergy in existing works, we propose PiMAE, a self-supervised pre-training framework that promotes 3D and 2D interaction through three aspects. Specifically, we first notice the importance of masking strategies between the two sources and utilize a projection module to complementarily align the mask and visible tokens of the two modalities. Then, we utilize a well-crafted two-branch MAE pipeline with a novel shared decoder to promote cross-modality interaction in the mask tokens. Finally, we design a unique cross-modal reconstruction module to enhance representation learning for both modalities. Through extensive experiments performed on large-scale RGB-D scene understanding benchmarks (SUN RGB-D and ScannetV2), we discover it is nontrivial to interactively learn point-image features, where we greatly improve multiple 3D detectors, 2D detectors, and few-shot classifiers by 2.9%, 6.7%, and 2.4%, respectively. Code is available at https://github.com/BLVLab/PiMAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google