Early or Late Fusion Matters: Efficient RGB-D Fusion in Vision Transformers for 3D Object Recognition

要約

しかし、RGB-Dオブジェクト認識のためのViTのトレーニングは、最近の文献では、複数の視覚モダリティにおけるマルチタスクプリトレーニングのレンズを通してのみ見られており、控えめなトピックのままである。このようなアプローチは、RGBと3D情報を整合させるために、複数の事前学習データセットの規模に依存するため、しばしば計算集約的である。本研究では、RGB-D領域で事前学習されたViTを3D物体認識のために転送するための、シンプルかつ強力なレシピを提案するもので、ViTが共同でエンコードするRGB表現と深度表現を融合することに焦点を当てる。マルチモーダルトランスフォーマーに関するこれまでの研究と比較して、ここでの重要な課題は、ViTの証明された柔軟性を利用して、事前学習の段階ではなく、下流の段階でクロスモーダル相互作用を捉えることである。また、ViTアーキテクチャにおいて、RGBモダリティと深度モダリティを整合させるための初期および後期融合技術を比較する。ワシントンRGB-Dオブジェクトデータセット（ROD）の実験結果は、このようなRGB→RGB-Dのシナリオにおいて、後期融合技術が、一般的に採用されている早期融合よりも優れていることを実証しています。我々の転送ベースラインでは、融合ViTはRODにおいて95.4%のトップ1精度を達成し、このベンチマークで新たな最先端を達成しました。さらに、RODベンチマークにおいて、合成から実写への視覚適応とオープンエンドの生涯学習シナリオにおいて、単峰性特徴抽出器に対するマルチモーダル融合ベースラインの使用の利点を示し、我々のモデルが8%以上のマージンで先行研究を上回ることを示す。最後に、本手法をロボットフレームワークと統合し、シミュレーションと実際のロボットを用いた対話型ロボット学習シナリオにおいて、本手法が知覚ユーティリティとして機能することを実証する。

要約(オリジナル)

The Vision Transformer (ViT) architecture has established its place in computer vision literature, however, training ViTs for RGB-D object recognition remains an understudied topic, viewed in recent literature only through the lens of multi-task pretraining in multiple vision modalities. Such approaches are often computationally intensive, relying on the scale of multiple pretraining datasets to align RGB with 3D information. In this work, we propose a simple yet strong recipe for transferring pretrained ViTs in RGB-D domains for 3D object recognition, focusing on fusing RGB and depth representations encoded jointly by the ViT. Compared to previous works in multimodal Transformers, the key challenge here is to use the attested flexibility of ViTs to capture cross-modal interactions at the downstream and not the pretraining stage. We explore which depth representation is better in terms of resulting accuracy and compare early and late fusion techniques for aligning the RGB and depth modalities within the ViT architecture. Experimental results in the Washington RGB-D Objects dataset (ROD) demonstrate that in such RGB -> RGB-D scenarios, late fusion techniques work better than most popularly employed early fusion. With our transfer baseline, fusion ViTs score up to 95.4% top-1 accuracy in ROD, achieving new state-of-the-art results in this benchmark. We further show the benefits of using our multimodal fusion baseline over unimodal feature extractors in a synthetic-to-real visual adaptation as well as in an open-ended lifelong learning scenario in the ROD benchmark, where our model outperforms previous works by a margin of >8%. Finally, we integrate our method with a robot framework and demonstrate how it can serve as a perception utility in an interactive robot learning scenario, both in simulation and with a real robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL