Belief Scene Graphs: Expanding Partial Scenes with Objects through Computation of Expectation

要約

この記事では、部分的な 3D シーン グラフのユーティリティ主導の拡張であり、部分的な情報を使用して効率的な高レベルのタスク計画を可能にする、信念シーン グラフの新しい概念を提案します。
私たちは、任意の 3D シーン グラフに対する信念 (期待とも呼ばれる) を計算するためのグラフベースの学習方法論を提案します。これは、ロボット ミッションに関連する新しいノード (ブラインド ノードと呼ばれる) を戦略的に追加するために使用されます。
。
我々は、利用可能なトレーニングデータからヒストグラムを学習することによって、実際の信念/期待を合理的に近似する、相関情報に基づく期待の計算(CECI)の方法を提案します。
3D シーン グラフのリポジトリから CECI を学習するために、新しいグラフ畳み込みニューラル ネットワーク (GCN) モデルが開発されました。
新しい CECI モデルのトレーニング用の 3D シーン グラフのデータベースは存在しないため、意味的に注釈が付けられた現実の 3D 空間に基づいて 3D シーン グラフ データセットを生成するための新しい方法論を紹介します。
生成されたデータセットは、提案された CECI モデルをトレーニングし、提案された方法を広範囲に検証するために利用されます。
私たちは、期待を抽象表現に統合するためのコアコンポーネントとして、\textit{Belief Scene Graphs} (BSG) という新しい概念を確立します。
この新しい概念は、古典的な 3D シーン グラフの概念を進化させたもので、さまざまなロボット ミッションのタスク計画と最適化のための高度な推論を可能にすることを目的としています。
全体的なフレームワークの有効性はオブジェクト検索シナリオで評価されており、目に見えないオブジェクトに対する人間の常識をエミュレートするための実生活の実験でもテストされています。

要約(オリジナル)

In this article, we propose the novel concept of Belief Scene Graphs, which are utility-driven extensions of partial 3D scene graphs, that enable efficient high-level task planning with partial information. We propose a graph-based learning methodology for the computation of belief (also referred to as expectation) on any given 3D scene graph, which is then used to strategically add new nodes (referred to as blind nodes) that are relevant for a robotic mission. We propose the method of Computation of Expectation based on Correlation Information (CECI), to reasonably approximate real Belief/Expectation, by learning histograms from available training data. A novel Graph Convolutional Neural Network (GCN) model is developed, to learn CECI from a repository of 3D scene graphs. As no database of 3D scene graphs exists for the training of the novel CECI model, we present a novel methodology for generating a 3D scene graph dataset based on semantically annotated real-life 3D spaces. The generated dataset is then utilized to train the proposed CECI model and for extensive validation of the proposed method. We establish the novel concept of \textit{Belief Scene Graphs} (BSG), as a core component to integrate expectations into abstract representations. This new concept is an evolution of the classical 3D scene graph concept and aims to enable high-level reasoning for the task planning and optimization of a variety of robotics missions. The efficacy of the overall framework has been evaluated in an object search scenario, and has also been tested on a real-life experiment to emulate human common sense of unseen-objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google