Teaching Agents how to Map: Spatial Reasoning for Multi-Object Navigation

要約

【タイトル】マルチオブジェクトナビゲーションのための空間推論教育エージェント
【要約】
– エージェントが観察履歴を利用して目標地点に到達するためには、新しい環境をマッピングする能力が必要である。
– この能力は空間推論に関連し、エージェントが空間的な関係や規則性を知覚し、オブジェクトの特性を発見できる能力である。
– 本研究では、Reinforcement Learning（RL）で訓練された深層ニューラルネットワークでパラメータ化された学習可能なポリシーを導入し、補助的なタスクにより空間知覚能力を促進することを提案する。
– エージェントが与えられた場所と到達目標の間の空間的関係を量的に評価することを学ぶことは、マルチオブジェクトナビゲーション設定で高い正の影響を持つことが示された。
– 本研究の方法は、環境の明示的または暗黙的な表現を構築する異なるベースラインエージェントの性能を有意に改善し、グラウンドトゥルースマップを入力とするオラクルエージェントとの性能を比較可能にする。CVPR 2021実体化AIワークショップのMulti-Object Navigation Challengeの優勝エージェントとして採用された。

要約(オリジナル)

In the context of visual navigation, the capacity to map a novel environment is necessary for an agent to exploit its observation history in the considered place and efficiently reach known goals. This ability can be associated with spatial reasoning, where an agent is able to perceive spatial relationships and regularities, and discover object characteristics. Recent work introduces learnable policies parametrized by deep neural networks and trained with Reinforcement Learning (RL). In classical RL setups, the capacity to map and reason spatially is learned end-to-end, from reward alone. In this setting, we introduce supplementary supervision in the form of auxiliary tasks designed to favor the emergence of spatial perception capabilities in agents trained for a goal-reaching downstream objective. We show that learning to estimate metrics quantifying the spatial relationships between an agent at a given location and a goal to reach has a high positive impact in Multi-Object Navigation settings. Our method significantly improves the performance of different baseline agents, that either build an explicit or implicit representation of the environment, even matching the performance of incomparable oracle agents taking ground-truth maps as input. A learning-based agent from the literature trained with the proposed auxiliary losses was the winning entry to the Multi-Object Navigation Challenge, part of the CVPR 2021 Embodied AI Workshop.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI