Reasoning in visual navigation of end-to-end trained agents: a dynamical systems approach

要約

具体化されたAIの進歩により、エンドツーエンドの訓練を受けたエージェントが、高レベルの推論とゼロショットまたは言語条件付けの動作を備えた写真リアルな環境でナビゲートすることが可能になりましたが、ベンチマークはまだシミュレーションによって支配されています。
この作業では、急速に移動する本物のロボットのきめの細かい動作に焦点を当て、物理的なロボットを備えた実際の環境で\ numepisodes {}ナビゲーションエピソードを含む大規模な実験的研究を提示します。
特に、エージェントがオープンループ予測のために学んだ現実的なダイナミクスの存在と、センシングとの相互作用を研究します。
エージェントが潜在メモリを使用して、探査中に収集されたシーン構造と情報の要素を保持する方法を分析します。
エージェントの計画能力を調査し、限られた地平線よりも多少正確な計画の記憶の証拠を見つけます。
さらに、事後分析では、エージェントが学んだ値関数が長期計画に関連していることを示します。
まとめて、私たちの実験では、コンピュータービジョンとシーケンシャルな意思決定からのツールを使用することで、ロボット工学と制御の新しい機能につながったことについての新しい絵を描きます。
インタラクティブツールは、europe.naverlabs.com/research/publications/reasoning-in-visual-navigation of-end-end-trained-agentで入手できます。

要約(オリジナル)

Progress in Embodied AI has made it possible for end-to-end-trained agents to navigate in photo-realistic environments with high-level reasoning and zero-shot or language-conditioned behavior, but benchmarks are still dominated by simulation. In this work, we focus on the fine-grained behavior of fast-moving real robots and present a large-scale experimental study involving \numepisodes{} navigation episodes in a real environment with a physical robot, where we analyze the type of reasoning emerging from end-to-end training. In particular, we study the presence of realistic dynamics which the agent learned for open-loop forecasting, and their interplay with sensing. We analyze the way the agent uses latent memory to hold elements of the scene structure and information gathered during exploration. We probe the planning capabilities of the agent, and find in its memory evidence for somewhat precise plans over a limited horizon. Furthermore, we show in a post-hoc analysis that the value function learned by the agent relates to long-term planning. Put together, our experiments paint a new picture on how using tools from computer vision and sequential decision making have led to new capabilities in robotics and control. An interactive tool is available at europe.naverlabs.com/research/publications/reasoning-in-visual-navigation-of-end-to-end-trained-agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google