Astra: Toward General-Purpose Mobile Robots via Hierarchical Multimodal Learning

要約

最新のロボットナビゲーションシステムは、多様で複雑な屋内環境で困難に遭遇します。
従来のアプローチは、小さなモデルまたはルールベースのシステムを備えた複数のモジュールに依存しているため、新しい環境への適応性がありません。
これに対処するために、モバイルロボットナビゲーション用の包括的なデュアルモデルアーキテクチャであるAstra-GlobalとAstra-Localを開発しました。
マルチモーダルLLMであるAstra-Globalは、グローバルマップとしてハイブリッドトポロジセマンチックなグラフを使用して自己および目標のローカリゼーションを実行するためのビジョンと言語の入力を処理し、従来の視覚的な場所認識方法を上回ります。
マルチタスクネットワークであるAstra-Localは、ローカルパス計画と臭気測定の推定を処理します。
自己監視学習を通じて訓練された4D空間的エンコーダーは、ダウンストリームタスクの堅牢な4D機能を生成します。
計画ヘッドは、フローマッチングと新しいマスクされたESDF損失を利用して、ローカル軌道を生成するための衝突リスクを最小限に抑え、odometryヘッドはトランスエンコーダーを介してマルチセンサー入力を統合してロボットの相対ポーズを予測します。
実際の社内モバイルロボットに展開されたAstraは、多様な屋内環境全体で高エンドツーエンドのミッションの成功率を達成しています。

要約(オリジナル)

Modern robot navigation systems encounter difficulties in diverse and complex indoor environments. Traditional approaches rely on multiple modules with small models or rule-based systems and thus lack adaptability to new environments. To address this, we developed Astra, a comprehensive dual-model architecture, Astra-Global and Astra-Local, for mobile robot navigation. Astra-Global, a multimodal LLM, processes vision and language inputs to perform self and goal localization using a hybrid topological-semantic graph as the global map, and outperforms traditional visual place recognition methods. Astra-Local, a multitask network, handles local path planning and odometry estimation. Its 4D spatial-temporal encoder, trained through self-supervised learning, generates robust 4D features for downstream tasks. The planning head utilizes flow matching and a novel masked ESDF loss to minimize collision risks for generating local trajectories, and the odometry head integrates multi-sensor inputs via a transformer encoder to predict the relative pose of the robot. Deployed on real in-house mobile robots, Astra achieves high end-to-end mission success rate across diverse indoor environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google