SCALE: Self-Correcting Visual Navigation for Mobile Robots via Anti-Novelty Estimation

要約

ビジュアルナビゲーションは深層強化学習を使用して広く研究されていますが、現実世界のロボットのオンライン学習は依然として困難な課題です。
最近の研究では、実世界のタスクにおけるより広範な一般化を達成するためにオフライン データセットから直接学習しましたが、これは分布外 (OOD) の問題と、目に見えない観測のために特定のマップ内でロボットの位置特定が失敗する可能性があるという問題に直面しています。
これにより成功率が大幅に低下し、さらには衝突が誘発されます。
この論文では、人間の介入なしにロボットが OOD 状況から自律的に回避できる自己修正視覚ナビゲーション手法 SCALE を紹介します。
具体的には、暗黙的 Q 学習 (IQL) に基づく画像目標条件付きオフライン強化学習手法を開発します。
OOD 観測に直面した場合、私たちの新しい位置回復手法は、ナビゲーション アフォーダンスから学習することで潜在的な将来の軌道を生成し、ランダム ネットワーク蒸留 (RND) によって将来の新規性を推定します。
カスタマイズされたコスト関数は、ロボットを馴染みのある場所に導くことができる、目新しさが最も少ない候補を検索します。
オフラインデータを収集し、3つの現実世界の都市シナリオで評価実験を実施します。
実験の結果、SCALE は独自のローカライゼーション回復機能により、オープンワールド ナビゲーションにおけるこれまでの最先端の方法を上回り、人間の介入の必要性を大幅に軽減することがわかりました。
コードは https://github.com/KubeEdge4Robotics/ScaleNav で入手できます。

要約(オリジナル)

Although visual navigation has been extensively studied using deep reinforcement learning, online learning for real-world robots remains a challenging task. Recent work directly learned from offline dataset to achieve broader generalization in the real-world tasks, which, however, faces the out-of-distribution (OOD) issue and potential robot localization failures in a given map for unseen observation. This significantly drops the success rates and even induces collision. In this paper, we present a self-correcting visual navigation method, SCALE, that can autonomously prevent the robot from the OOD situations without human intervention. Specifically, we develop an image-goal conditioned offline reinforcement learning method based on implicit Q-learning (IQL). When facing OOD observation, our novel localization recovery method generates the potential future trajectories by learning from the navigation affordance, and estimates the future novelty via random network distillation (RND). A tailored cost function searches for the candidates with the least novelty that can lead the robot to the familiar places. We collect offline data and conduct evaluation experiments in three real-world urban scenarios. Experiment results show that SCALE outperforms the previous state-of-the-art methods for open-world navigation with a unique capability of localization recovery, significantly reducing the need for human intervention. Code is available at https://github.com/KubeEdge4Robotics/ScaleNav.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google