Intelligent LiDAR Navigation: Leveraging External Information and Semantic Maps with LLM as Copilot

要約

従来のロボット ナビゲーション システムは、ROS の人気のある move_base パッケージで実証されているように、占有グリッド マップとレーザーベースのセンシング テクノロジーを主に利用しています。
ロボットとは異なり、人間は空間認識や物理的距離だけでなく、公共の掲示板からのエレベーターのメンテナンスに関する最新情報や、特定のドアを通る特別なアクセスの必要性などの経験的知識などの外部情報を統合することによってナビゲートします。
人間のパフォーマンスに近いテキスト理解と知能を備えたラージ言語モデル (LLM) の開発により、ロボット ナビゲーション システムに人間の認知に近いレベルの理解を注入する機会が生まれました。
この研究では、革新的なセマンティック トポメトリック階層マップ表現である osmAG (OpensStreetMap テキスト形式のエリア グラフ) を使用して、ROS move_base の機能と LLM によって提供されるコンテキスト理解の間のギャップを埋めることを提案します。
私たちの方法論では、LLM をロボット ナビゲーションの実際の副操縦士として採用し、従来のロボット ナビゲーション システムの堅牢性を維持しながら、より広範囲の情報入力の統合を可能にします。
コード、デモ、マップ、実験結果には、https://github.com/xiexiexiaoxiexie/Intelligent-LiDAR-Navigation-LLM-as-Copilot からアクセスできます。

要約(オリジナル)

Traditional robot navigation systems primarily utilize occupancy grid maps and laser-based sensing technologies, as demonstrated by the popular move_base package in ROS. Unlike robots, humans navigate not only through spatial awareness and physical distances but also by integrating external information, such as elevator maintenance updates from public notification boards and experiential knowledge, like the need for special access through certain doors. With the development of Large Language Models (LLMs), which posses text understanding and intelligence close to human performance, there is now an opportunity to infuse robot navigation systems with a level of understanding akin to human cognition. In this study, we propose using osmAG (Area Graph in OpensStreetMap textual format), an innovative semantic topometric hierarchical map representation, to bridge the gap between the capabilities of ROS move_base and the contextual understanding offered by LLMs. Our methodology employs LLMs as actual copilot in robot navigation, enabling the integration of a broader range of informational inputs while maintaining the robustness of traditional robotic navigation systems. Our code, demo, map, experiment results can be accessed at https://github.com/xiexiexiaoxiexie/Intelligent-LiDAR-Navigation-LLM-as-Copilot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google