HPointLoc: Point-based Indoor Place Recognition using Synthetic RGB-D Images

要約

HPointLoc という名前の新しいデータセットを提示します。これは、屋内環境での視覚的な場所認識と、同時ローカリゼーションとマッピングでのループ検出の機能を調査するために特別に設計されたものです。
ループ検出サブタスクは、オンボード RGB-D カメラを搭載したロボットが同じ場所 (「ポイント」) を異なる角度で通過できる場合に特に関連します。
このデータセットは、人気のある Habitat シミュレーターに基づいており、独自のセンサー データと Matterport3D などのオープン データセットの両方を使用して、写真のようにリアルな屋内シーンを生成できます。
HPointLoc データセットで場所認識問題を解決する主な段階を調べるために、PNTR と呼ばれる新しいモジュラー アプローチを提案しました。
最初に Patch-NetVLAD メソッドで画像検索を実行し、次にキーポイントを抽出し、R2D2、LoFTR、または SuperGlue を使用した SuperPoint を使用してそれらを一致させ、最後に TEASER++ でカメラ ポーズの最適化ステップを実行します。
場所認識問題に対するそのような解決策は、既存の刊行物ではこれまで研究されていません。
PNTR アプローチは、HPointLoc データセットで最高品質のメトリックを示しており、無人車両のローカリゼーション システムで実際に使用される可能性が高いです。
提案されたデータセットとフレームワークは、https://github.com/metra4ok/HPointLoc で公開されています。

要約(オリジナル)

We present a novel dataset named as HPointLoc, specially designed for exploring capabilities of visual place recognition in indoor environment and loop detection in simultaneous localization and mapping. The loop detection sub-task is especially relevant when a robot with an on-board RGB-D camera can drive past the same place (“Point’) at different angles. The dataset is based on the popular Habitat simulator, in which it is possible to generate photorealistic indoor scenes using both own sensor data and open datasets, such as Matterport3D. To study the main stages of solving the place recognition problem on the HPointLoc dataset, we proposed a new modular approach named as PNTR. It first performs an image retrieval with the Patch-NetVLAD method, then extracts keypoints and matches them using R2D2, LoFTR or SuperPoint with SuperGlue, and finally performs a camera pose optimization step with TEASER++. Such a solution to the place recognition problem has not been previously studied in existing publications. The PNTR approach has shown the best quality metrics on the HPointLoc dataset and has a high potential for real use in localization systems for unmanned vehicles. The proposed dataset and framework are publicly available: https://github.com/metra4ok/HPointLoc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google