Signage-Aware Exploration in Open World using Venue Maps

要約

現在の探索手法では、事前知識が不足しているため、未知のオープンワールド環境で店やレストランを探すのに苦労している。人間は、シーン内の看板と地図上のランドマーク名を関連付けることで、探索計画を支援するために、貴重なシーンの事前情報を提供する会場マップを活用することができる。しかし、看板のテキストの形状やスタイルは任意であり、マルチビューの不一致もあるため、ロボットが看板を正確に認識することは困難である。さらに、実世界環境と会場地図の不一致は、テキストレベルの情報をプランナーに統合する妨げとなる。本論文では、このような課題を解決し、ロボットが会場マップを効果的に活用できるようにするための、新しい看板認識探索システムを紹介する。我々は、拡散ベースのテキストインスタンス検索法と2D-3Dセマンティック融合戦略を組み合わせることで、看板上のテキストを正確に検出・認識する看板理解手法を提案する。さらに、会場マップから導き出された方向ヒューリスティックを用いた未知の領域での探索と、より良い認識のために近づいて方向を調整するための探索をバランスよく行う、会場マップ誘導型探索・探索プランナーを設計する。大規模ショッピングモールでの実験により、本手法の優れた看板認識性能と探索効率が実証され、最先端のテキストスポッティング手法や従来の探索アプローチを凌駕している。プロジェクトのウェブサイト：https://sites.google.com/view/signage-aware-exploration.

要約(オリジナル)

Current exploration methods struggle to search for shops or restaurants in unknown open-world environments due to the lack of prior knowledge. Humans can leverage venue maps that offer valuable scene priors to aid exploration planning by correlating the signage in the scene with landmark names on the map. However, arbitrary shapes and styles of the texts on signage, along with multi-view inconsistencies, pose significant challenges for robots to recognize them accurately. Additionally, discrepancies between real-world environments and venue maps hinder the integration of text-level information into the planners. This paper introduces a novel signage-aware exploration system to address these challenges, enabling the robots to utilize venue maps effectively. We propose a signage understanding method that accurately detects and recognizes the texts on signage using a diffusion-based text instance retrieval method combined with a 2D-to-3D semantic fusion strategy. Furthermore, we design a venue map-guided exploration-exploitation planner that balances exploration in unknown regions using directional heuristics derived from venue maps and exploitation to get close and adjust orientation for better recognition. Experiments in large-scale shopping malls demonstrate our method’s superior signage recognition performance and search efficiency, surpassing state-of-the-art text spotting methods and traditional exploration approaches. Project website: https://sites.google.com/view/signage-aware-exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL