Belief Scene Graphs: Expanding Partial Scenes with Objects through Computation of Expectation

要約

この記事では、部分的な 3D シーン グラフのユーティリティ主導の拡張であり、部分的な情報を使用して効率的な高レベルのタスク計画を可能にする、信念シーン グラフの新しい概念を提案します。
私たちは、任意の 3D シーン グラフに対する信念 (期待とも呼ばれます) を計算するためのグラフベースの学習方法論を提案します。この学習方法は、ロボットのミッションに関連する新しいノード (ブラインド ノードと呼ばれます) を戦略的に追加するために使用されます。
。
我々は、利用可能なトレーニングデータからヒストグラムを学習することによって、実際の信念/期待を合理的に近似する、相関情報に基づく期待の計算(CECI)の方法を提案します。
3D シーン グラフのリポジトリから CECI を学習するために、新しいグラフ畳み込みニューラル ネットワーク (GCN) モデルが開発されました。
新しい CECI モデルのトレーニング用の 3D シーン グラフのデータベースは存在しないため、意味的に注釈が付けられた現実の 3D 空間に基づいて 3D シーン グラフ データセットを生成するための新しい方法論を紹介します。
生成されたデータセットは、提案された CECI モデルをトレーニングし、提案された方法を広範囲に検証するために利用されます。
私たちは、期待を抽象表現に統合するためのコアコンポーネントとして、\textit{Belief Scene Graphs} (BSG) という新しい概念を確立します。
この新しい概念は、古典的な 3D シーン グラフの概念を進化させたもので、さまざまなロボット ミッションのタスク計画と最適化のための高度な推論を可能にすることを目的としています。
全体的なフレームワークの有効性は、オブジェクト検索シナリオで評価されており、目に見えないオブジェクトに対する人間の常識をエミュレートする実際の実験でもテストされています。
実験デモンストレーションを紹介する記事のビデオについては、次のリンクを参照してください: https://youtu.be/hsGlSCa12iY

要約(オリジナル)

In this article, we propose the novel concept of Belief Scene Graphs, which are utility-driven extensions of partial 3D scene graphs, that enable efficient high-level task planning with partial information. We propose a graph-based learning methodology for the computation of belief (also referred to as expectation) on any given 3D scene graph, which is then used to strategically add new nodes (referred to as blind nodes) that are relevant to a robotic mission. We propose the method of Computation of Expectation based on Correlation Information (CECI), to reasonably approximate real Belief/Expectation, by learning histograms from available training data. A novel Graph Convolutional Neural Network (GCN) model is developed, to learn CECI from a repository of 3D scene graphs. As no database of 3D scene graphs exists for the training of the novel CECI model, we present a novel methodology for generating a 3D scene graph dataset based on semantically annotated real-life 3D spaces. The generated dataset is then utilized to train the proposed CECI model and for extensive validation of the proposed method. We establish the novel concept of \textit{Belief Scene Graphs} (BSG), as a core component to integrate expectations into abstract representations. This new concept is an evolution of the classical 3D scene graph concept and aims to enable high-level reasoning for task planning and optimization of a variety of robotics missions. The efficacy of the overall framework has been evaluated in an object search scenario, and has also been tested in a real-life experiment to emulate human common sense of unseen-objects. For a video of the article, showcasing the experimental demonstration, please refer to the following link: https://youtu.be/hsGlSCa12iY

arxiv情報

提供元, 利用サービス

arxiv.jp, Google