A Strong Transfer Baseline for RGB-D Fusion in Vision Transformers

要約

Vision Transformer (ViT) アーキテクチャは、画像データまたは他の視覚モダリティの認識のための複数のアーキテクチャにより、最近コンピュータビジョンの文献でその地位を確立している。しかし、RGB-D物体認識のためのViTのトレーニングは、最近の文献では複数のモダリティにおけるマルチタスク事前トレーニングのレンズを通してのみ見られ、依然として控えめなトピックである。このようなアプローチはしばしば計算量が多く、困難な物体レベルの分類タスクに適用されたことはまだない。本研究では、RGB-D領域で事前学習したViTをシングルビュー3Dオブジェクト認識のために転送するための、シンプルかつ強力なレシピを提案する。マルチモーダルトランスフォーマーにおけるこれまでの研究と比較して、ここでの重要な課題は、プリトレーニングの段階ではなく、ダウンストリームの段階でクロスモーダルな相互作用を捉えるために、ViTのアテストされた柔軟性を利用することである。我々は、結果の精度の観点からどの深度表現が優れているかを調べ、ViTアーキテクチャ内でRGB-D融合を注入するための2つの方法（すなわち、早期融合と後期融合）を比較します。ワシントンRGB-Dオブジェクトデータセットでの結果は、このようなRGBrightarrow$ RGB-Dシナリオでは、レイトフュージョン技術が最も一般的に採用されているアーリーフュージョンよりもうまく機能することを実証しています。我々の転送ベースラインにより、適応されたViTは、ワシントン州で95.1%のトップ1精度を達成し、このベンチマークで新たな最先端結果を達成した。さらに、オープンエンドの生涯学習プロトコルで我々のアプローチを評価し、我々の適応したRGB-Dエンコーダーが、明示的な微調整なしでも、ユニモーダルエンコーダーより優れた特徴を導くことを示す。さらに、我々の手法をロボットフレームワークと統合し、シミュレーションと実際のロボットの両方で、対話型ロボット学習シナリオにおける知覚ユーティリティとして機能することを実証する。

要約(オリジナル)

The Vision Transformer (ViT) architecture has recently established its place in the computer vision literature, with multiple architectures for recognition of image data or other visual modalities. However, training ViTs for RGB-D object recognition remains an understudied topic, viewed in recent literature only through the lens of multi-task pretraining in multiple modalities. Such approaches are often computationally intensive and have not yet been applied for challenging object-level classification tasks. In this work, we propose a simple yet strong recipe for transferring pretrained ViTs in RGB-D domains for single-view 3D object recognition, focusing on fusing RGB and depth representations encoded jointly by the ViT. Compared to previous works in multimodal Transformers, the key challenge here is to use the atested flexibility of ViTs to capture cross-modal interactions at the downstream and not the pretraining stage. We explore which depth representation is better in terms of resulting accuracy and compare two methods for injecting RGB-D fusion within the ViT architecture (i.e., early vs. late fusion). Our results in the Washington RGB-D Objects dataset demonstrates that in such RGB $\rightarrow$ RGB-D scenarios, late fusion techniques work better than most popularly employed early fusion. With our transfer baseline, adapted ViTs score up to 95.1\% top-1 accuracy in Washington, achieving new state-of-the-art results in this benchmark. We additionally evaluate our approach with an open-ended lifelong learning protocol, where we show that our adapted RGB-D encoder leads to features that outperform unimodal encoders, even without explicit fine-tuning. We further integrate our method with a robot framework and demonstrate how it can serve as a perception utility in an interactive robot learning scenario, both in simulation and with a real robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL