Exploitation-Guided Exploration for Semantic Embodied Navigation

要約

具現化されたナビゲーションとシミュレーションからロボットへの転送における最近の進歩において、モジュラー方針が事実上のフレームワークとして登場した。しかし、構成性には、学習負荷をモジュラーコンポーネントに分解する以上のものがある。この研究では、これらのコンポーネントを構文的に組み合わせる原理的な方法を研究する。特に、探索と利用のための別々のモジュールが、斬新で直感的な方法で組み合わされる、探索誘導型探索（XGX）を提案する。探索モジュールは、ナビゲーションの決定論的な最終段階、すなわちゴールが見えるようになったときに、その役割を引き継ぐように構成される。重要なのは、エクスプロイトモジュールが探索モジュールを強制的に教師し、オーバーライドされたポリシーの最適化を駆動し続けることである。XGXは、効果的な分解と新しいガイダンスにより、難易度の高い物体ナビゲーションタスクにおける最先端の性能を70%から73%に向上させた。より良い精度と共に、ターゲット分析を通じて、XGXがゴール条件付き探索においてもより効率的であることを示す。最後に、ロボットのハードウェアへのシム-トゥ-リアル転送を示し、XGXはシミュレーションベンチマークから得られた最良のベースラインよりも2倍以上優れた性能を示した。プロジェクトのページxgxvisnav.github.io

要約(オリジナル)

In the recent progress in embodied navigation and sim-to-robot transfer, modular policies have emerged as a de facto framework. However, there is more to compositionality beyond the decomposition of the learning load into modular components. In this work, we investigate a principled way to syntactically combine these components. Particularly, we propose Exploitation-Guided Exploration (XGX) where separate modules for exploration and exploitation come together in a novel and intuitive manner. We configure the exploitation module to take over in the deterministic final steps of navigation i.e. when the goal becomes visible. Crucially, an exploitation module teacher-forces the exploration module and continues driving an overridden policy optimization. XGX, with effective decomposition and novel guidance, improves the state-of-the-art performance on the challenging object navigation task from 70% to 73%. Along with better accuracy, through targeted analysis, we show that XGX is also more efficient at goal-conditioned exploration. Finally, we show sim-to-real transfer to robot hardware and XGX performs over two-fold better than the best baseline from simulation benchmarking. Project page: xgxvisnav.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL