Modeling Dynamic Environments with Scene Graph Memory

要約

家庭などの大規模な環境でオブジェクトを検索する身体型 AI エージェントは、多くの場合、部分的な情報に基づいてオブジェクトの位置を予測することで効率的な意思決定を行う必要があります。
我々はこれを新しいタイプのリンク予測問題、つまり部分的に観察可能な動的グラフ上のリンク予測として提起します。
私たちのグラフは、部屋とオブジェクトがノードであり、それらの関係がエッジにエンコードされているシーンを表現したものです。
各タイムステップでエージェントが認識できるのは、変化するグラフの一部だけです。
この部分的な可観測性は、既存のリンク予測アプローチに課題をもたらしており、私たちはこれに取り組んでいます。
私たちは、エージェントの蓄積された一連の観察をキャプチャする新しい状態表現であるシーン グラフ メモリ (SGM) と、SGM から情報を抽出して効率的に検索するノード エッジ プレディクター (NEP) と呼ばれるニューラル ネット アーキテクチャを提案します。
私たちは、家庭で一般的に見られる意味論的パターンに従って多様な動的グラフを作成する新しいベンチマークであるダイナミック ハウス シミュレーターでメソッドを評価し、多様なオブジェクトの動きのダイナミクスを持つさまざまな環境におけるオブジェクトの位置を予測するように NEP をトレーニングできることを示します。
、新しいシーンの適応性と全体的な精度の両方の点でベースラインを上回っています。
コードベースなどは https://www.scenegraphmemory.com でご覧いただけます。

要約(オリジナル)

Embodied AI agents that search for objects in large environments such as households often need to make efficient decisions by predicting object locations based on partial information. We pose this as a new type of link prediction problem: link prediction on partially observable dynamic graphs. Our graph is a representation of a scene in which rooms and objects are nodes, and their relationships are encoded in the edges; only parts of the changing graph are known to the agent at each timestep. This partial observability poses a challenge to existing link prediction approaches, which we address. We propose a novel state representation — Scene Graph Memory (SGM) — with captures the agent’s accumulated set of observations, as well as a neural net architecture called a Node Edge Predictor (NEP) that extracts information from the SGM to search efficiently. We evaluate our method in the Dynamic House Simulator, a new benchmark that creates diverse dynamic graphs following the semantic patterns typically seen at homes, and show that NEP can be trained to predict the locations of objects in a variety of environments with diverse object movement dynamics, outperforming baselines both in terms of new scene adaptability and overall accuracy. The codebase and more can be found at https://www.scenegraphmemory.com.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google