Multi-Object Navigation with dynamically learned neural implicit representations

要約

新しい環境を理解してマッピングすることは、自律的に移動するエージェントの中核となる能力です。
古典的なロボット工学は通常、トポロジカルまたはメトリック表現を維持する SLAM バリアントを使用してスタンドアロンの方法で地図を推定しますが、ナビゲーションのエンドツーエンド学習では、ニューラル ネットワークに何らかの形式のメモリが保持されます。
ネットワークには通常、ベクトル表現から鳥瞰図の計量テンソルやトポロジー構造に至るまで、帰納的バイアスが組み込まれています。
この研究では、2 つのニューラル暗黙的表現を使用してニューラル ネットワークを構造化することを提案します。これらの表現は各エピソード中に動的に学習され、シーンのコンテンツをマッピングします。(i) セマンティック ファインダーは、以前に見たクエリされたオブジェクトの位置を予測します。
(ii) 占有および探索の暗黙的表現は、探索されたエリアと障害物に関する情報をカプセル化し、関数空間から使用可能な埋め込み空間に直接マッピングする新しいグローバル読み取りメカニズムでクエリされます。
どちらの表現も、強化学習 (RL) でトレーニングされ、各エピソード中にオンラインで学習されたエージェントによって活用されます。
マルチオブジェクト ナビゲーションでエージェントを評価し、暗黙的なニューラル表現をメモリ ソースとして使用することの大きな影響を示します。

要約(オリジナル)

Understanding and mapping a new environment are core abilities of any autonomously navigating agent. While classical robotics usually estimates maps in a stand-alone manner with SLAM variants, which maintain a topological or metric representation, end-to-end learning of navigation keeps some form of memory in a neural network. Networks are typically imbued with inductive biases, which can range from vectorial representations to birds-eye metric tensors or topological structures. In this work, we propose to structure neural networks with two neural implicit representations, which are learned dynamically during each episode and map the content of the scene: (i) the Semantic Finder predicts the position of a previously seen queried object; (ii) the Occupancy and Exploration Implicit Representation encapsulates information about explored area and obstacles, and is queried with a novel global read mechanism which directly maps from function space to a usable embedding space. Both representations are leveraged by an agent trained with Reinforcement Learning (RL) and learned online during each episode. We evaluate the agent on Multi-Object Navigation and show the high impact of using neural implicit representations as a memory source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google