Control Transformer: Robot Navigation in Unknown Environments through PRM-Guided Return-Conditioned Sequence Modeling

要約

ナビゲーションなどの長期的なタスクを学習することは、強化学習をロボット工学にうまく適用する上で困難な課題となっています。
別の観点から見ると、既知の環​​境下では、サンプリングベースの計画により、学習することなく環境内で衝突のないパスを確実に見つけることができます。
この研究では、サンプリングベースの確率的ロードマップ (PRM) プランナーによって導かれる、低レベルのポリシーからのリターン条件付きシーケンスをモデル化する Control Transformer を提案します。
私たちのフレームワークがローカル情報のみを使用して長期のナビゲーション タスクを解決できることを示します。
Ant、Point、Humanoid などの MuJoCo ロボットを使用した、部分的に観察された迷路ナビゲーションに関するアプローチを評価します。
Control Transformer が迷路をうまく移動し、未知の環境に移動できることを示します。
さらに、私たちの方法を差動駆動ロボット (Turtlebot3) に適用し、ノイズの多い観測下でのゼロショット sim2real 転送を示します。

要約(オリジナル)

Learning long-horizon tasks such as navigation has presented difficult challenges for successfully applying reinforcement learning to robotics. From another perspective, under known environments, sampling-based planning can robustly find collision-free paths in environments without learning. In this work, we propose Control Transformer that models return-conditioned sequences from low-level policies guided by a sampling-based Probabilistic Roadmap (PRM) planner. We demonstrate that our framework can solve long-horizon navigation tasks using only local information. We evaluate our approach on partially-observed maze navigation with MuJoCo robots, including Ant, Point, and Humanoid. We show that Control Transformer can successfully navigate through mazes and transfer to unknown environments. Additionally, we apply our method to a differential drive robot (Turtlebot3) and show zero-shot sim2real transfer under noisy observations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google