要約
間取り図はすぐに利用でき、信頼性が高く、豊富な幾何学的なガイダンスを提供してくれるため、人間は自然と不慣れな環境で移動する際に間取り図に依存します。
ただし、既存のビジュアル ナビゲーション設定では、この貴重な事前知識が見落とされており、効率と精度が制限されています。
このギャップを解消するために、新しいナビゲーション タスクであるフロア プラン ビジュアル ナビゲーション (FloNa) を導入します。これは、フロア プランを具体化されたビジュアル ナビゲーションに組み込む最初の試みです。
フロア プランには大きな利点がありますが、次の 2 つの重要な課題が生じます。(1) 衝突のないナビゲーションを実現するために、フロア プランと実際のシーン レイアウトの間の空間的不一致を処理すること、(2) 観察された画像とフロア プランのスケッチが異なるにもかかわらず、それらを位置合わせすること
モダリティ。
これらの課題に対処するために、私たちは、現在の観測とフロアプランの間の位置合わせを容易にする位置特定モジュールを組み込んだ新しい拡散政策フレームワークである FloDiff を提案します。
さらに、トレーニングと評価をサポートするために、iGibson シミュレーターの $117$ シーンにわたる $20k$ のナビゲーション エピソードを収集します。
広範な実験により、間取り図の知識を使用した不慣れなシーンにおけるフレームワークの有効性と効率性が実証されています。
プロジェクトの Web サイト: https://gauleejx.github.io/flona/。
要約(オリジナル)
Humans naturally rely on floor plans to navigate in unfamiliar environments, as they are readily available, reliable, and provide rich geometrical guidance. However, existing visual navigation settings overlook this valuable prior knowledge, leading to limited efficiency and accuracy. To eliminate this gap, we introduce a novel navigation task: Floor Plan Visual Navigation (FloNa), the first attempt to incorporate floor plan into embodied visual navigation. While the floor plan offers significant advantages, two key challenges emerge: (1) handling the spatial inconsistency between the floor plan and the actual scene layout for collision-free navigation, and (2) aligning observed images with the floor plan sketch despite their distinct modalities. To address these challenges, we propose FloDiff, a novel diffusion policy framework incorporating a localization module to facilitate alignment between the current observation and the floor plan. We further collect $20k$ navigation episodes across $117$ scenes in the iGibson simulator to support the training and evaluation. Extensive experiments demonstrate the effectiveness and efficiency of our framework in unfamiliar scenes using floor plan knowledge. Project website: https://gauleejx.github.io/flona/.
arxiv情報
| 著者 | Jiaxin Li,Weiqi Huang,Zan Wang,Wei Liang,Huijun Di,Feng Liu |
| 発行日 | 2024-12-24 10:42:25+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google