Towards Global Localization using Multi-Modal Object-Instance Re-Identification

要約

再識別（Reid）は、歩行者と車両の文脈で主に研究されているコンピュータービジョンにおける重要な課題です。
ただし、自律探索、長期的な認識、シーンの理解などのタスクに大きな意味を持つ堅牢なオブジェクトインスタンスReidは、露出度の低いままです。
この作業では、マルチモーダルRGBと深度情報を統合する新しいデュアルパスオブジェクトインスタンスの再識別トランストランスアーキテクチャを提案することにより、このギャップに対処します。
深さデータを活用することにより、雑然としたシーンや照明条件がさまざまなシーン全体のReidの改善を示します。
さらに、Reidベースのローカリゼーションフレームワークを開発し、カメラの正確なローカリゼーションを可能にし、さまざまな視点で識別をもたらします。
2つのカスタム構築RGB-Dデータセットと、オープンソースTUM RGB-Dデータセットの複数のシーケンスを使用してメソッドを検証します。
私たちのアプローチは、Object Instance Reid（75.18のマップ）とローカリゼーションの精度（TUM-RGBDの83％の成功率）の両方で大幅な改善を示し、ロボット認識の進歩におけるオブジェクトリードの本質的な役割を強調しています。
モデル、フレームワーク、およびデータセットが公開されています。

要約(オリジナル)

Re-identification (ReID) is a critical challenge in computer vision, predominantly studied in the context of pedestrians and vehicles. However, robust object-instance ReID, which has significant implications for tasks such as autonomous exploration, long-term perception, and scene understanding, remains underexplored. In this work, we address this gap by proposing a novel dual-path object-instance re-identification transformer architecture that integrates multimodal RGB and depth information. By leveraging depth data, we demonstrate improvements in ReID across scenes that are cluttered or have varying illumination conditions. Additionally, we develop a ReID-based localization framework that enables accurate camera localization and pose identification across different viewpoints. We validate our methods using two custom-built RGB-D datasets, as well as multiple sequences from the open-source TUM RGB-D datasets. Our approach demonstrates significant improvements in both object instance ReID (mAP of 75.18) and localization accuracy (success rate of 83% on TUM-RGBD), highlighting the essential role of object ReID in advancing robotic perception. Our models, frameworks, and datasets have been made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google