VAPOR: Legged Robot Navigation in Outdoor Vegetation Using Offline Reinforcement Learning

要約

我々は、オフラインの強化学習 (RL) を使用して、構造化されていない植物の密集した屋外環境で自律脚式ロボットをナビゲーションするための新しい方法である VAPOR を紹介します。
私たちの方法は、アクターと批評家のネットワークと実際の屋外植生で収集された任意のデータを使用して、新しい RL ポリシーをトレーニングします。
私たちのポリシーは、3D LiDAR 点群から派生した高さと強度ベースのコスト マップ、目標コスト マップ、および処理された固有受容データを状態入力として使用し、高さ、密度、堅固さなどの周囲の障害物の物理的および幾何学的特性を学習します。
硬さ。
完全にトレーニングされたポリシーのクリティカル ネットワークは、新しいコンテキスト認識プランナーから生成された動的に実行可能な速度の品質を評価するために使用されます。
当社のプランナーは、閉じ込めを誘発する植生や密集した環境の狭い通路の存在に基づいてロボットの速度空間を適応させます。
私たちは、密集した植生を含む複雑な現実世界の屋外シーンで、Spot ロボットでこの方法の機能を実証します。
VAPOR のアクションにより、既存のエンドツーエンドのオフライン RL やその他の屋外ナビゲーションと比較して、成功率が最大 40% 向上し、平均消費電流が最大 2.9% 減少し、正規化された軌道長が最大 11.2% 減少することが観察されています。
メソッド。

要約(オリジナル)

We present VAPOR, a novel method for autonomous legged robot navigation in unstructured, densely vegetated outdoor environments using offline Reinforcement Learning (RL). Our method trains a novel RL policy using an actor-critic network and arbitrary data collected in real outdoor vegetation. Our policy uses height and intensity-based cost maps derived from 3D LiDAR point clouds, a goal cost map, and processed proprioception data as state inputs, and learns the physical and geometric properties of the surrounding obstacles such as height, density, and solidity/stiffness. The fully-trained policy’s critic network is then used to evaluate the quality of dynamically feasible velocities generated from a novel context-aware planner. Our planner adapts the robot’s velocity space based on the presence of entrapment inducing vegetation, and narrow passages in dense environments. We demonstrate our method’s capabilities on a Spot robot in complex real-world outdoor scenes, including dense vegetation. We observe that VAPOR’s actions improve success rates by up to 40%, decrease the average current consumption by up to 2.9%, and decrease the normalized trajectory length by up to 11.2% compared to existing end-to-end offline RL and other outdoor navigation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google