Signage-Aware Exploration in Open World using Venue Maps

要約

現在の探索方法では、事前知識とテキスト認識機能が不足しているため、未知のオープンワールド環境で店舗を検索するのは困難です。
会場マップは、現場の標識と地図データを関連付けることにより、探索計画に役立つ貴重な情報を提供します。
しかし、標識上のテキストの任意の形状やスタイルは、複数の視点での不一致とともに、ロボットによる正確な認識に重大な課題をもたらします。
さらに、現実世界の環境と会場の地図との間に不一致があるため、テキスト情報をプランナーに組み込むことが妨げられます。
この論文では、これらの課題に対処し、ロボットが会場マップを効果的に利用できるようにする、新しい標識認識探索システムを紹介します。
我々は、2D から 3D への意味論的融合戦略と組み合わせた拡散ベースのテキストインスタンス検索手法を使用して、看板上のテキストを正確に検出および認識する看板理解方法を提案します。
さらに、会場マップから導き出された方向性ヒューリスティックを使用した未知の領域での探索と、より良く認識できるよう近づいて方向を調整する活用とのバランスをとる、会場マップに基づく探索・活用プランナーを設計します。
大規模ショッピングモールでの実験では、当社の手法の優れた標識認識精度とカバー効率が実証され、最先端のシーンテキストスポッティング手法や従来の探索手法を上回っています。

要約(オリジナル)

Current exploration methods struggle to search for shops in unknown open-world environments due to a lack of prior knowledge and text recognition capabilities. Venue maps offer valuable information that can aid exploration planning by correlating scene signage with map data. However, the arbitrary shapes and styles of the text on signage, along with multi-view inconsistencies, pose significant challenges for accurate recognition by robots. Additionally, the discrepancies between real-world environments and venue maps hinder the incorporation of text information into planners. This paper introduces a novel signage-aware exploration system to address these challenges, enabling the robot to utilize venue maps effectively. We propose a signage understanding method that accurately detects and recognizes the text on signage using a diffusion-based text instance retrieval method combined with a 2D-to-3D semantic fusion strategy. Furthermore, we design a venue map-guided exploration-exploitation planner that balances exploration in unknown regions using a directional heuristic derived from venue maps with exploitation to get close and adjust orientation for better recognition. Experiments in large-scale shopping malls demonstrate our method’s superior signage recognition accuracy and coverage efficiency, outperforming state-of-the-art scene text spotting methods and traditional exploration methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google