A Multi-modal Approach to Single-modal Visual Place Classification

要約

タイトル：シングルモーダルビジュアルプレイス分類へのマルチモーダルアプローチ

要約：

– 最初の人視点の単眼RGB画像からのビジュアルプレイス分類は、長期的なロボットナビゲーションにおいて基本的な問題である。
– RGB画像分類器は、空間的な変化や外観の変化に対して脆弱であり、季節、天候、照明の差異などのドメインシフトによって低下することがしばしばある。
– この問題に対処するために、RGBと深度（D）（例えば、LIDAR、レーダー、ステレオ）のマルチセンサーフュージョンアプローチが近年人気を集めている。
– RGB-D融合のこの努力に着想を得て、最近開発された「ドメイン不変」単眼深度推定技術からの擬似深度測定を追加の擬似深度モダリティとして使用し、シングルモーダルRGB画像分類タスクを擬似マルチモーダルRGB-D分類問題として再定式化することを探求する。
– 具体的には、これらの2つのモダリティ、RGBと擬似Dを適切に処理、融合、分類するための実用的かつ完全な自己教師付きフレームワークを記述する。
– 近年の公開NCLTデータセットを使用した厳しいクロスドメインシナリオでの実験により、提案されたフレームワークの有効性が検証された。

要約(オリジナル)

Visual place classification from a first-person-view monocular RGB image is a fundamental problem in long-term robot navigation. A difficulty arises from the fact that RGB image classifiers are often vulnerable to spatial and appearance changes and degrade due to domain shifts, such as seasonal, weather, and lighting differences. To address this issue, multi-sensor fusion approaches combining RGB and depth (D) (e.g., LIDAR, radar, stereo) have gained popularity in recent years. Inspired by these efforts in multimodal RGB-D fusion, we explore the use of pseudo-depth measurements from recently-developed techniques of “domain invariant’ monocular depth estimation as an additional pseudo depth modality, by reformulating the single-modal RGB image classification task as a pseudo multi-modal RGB-D classification problem. Specifically, a practical, fully self-supervised framework for training, appropriately processing, fusing, and classifying these two modalities, RGB and pseudo-D, is described. Experiments on challenging cross-domain scenarios using public NCLT datasets validate effectiveness of the proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI