Leveraging commonsense for object localisation in partial scenes

要約

部分的なシーンでのオブジェクトのローカリゼーションの問題に対処するためのエンドツーエンドのソリューションを提案します。ここでは、シーンの部分的な 3D スキャンのみが与えられた未知の領域内のオブジェクトの位置を推定することを目的としています。
幾何学的推論を容易にするための新しいシーン表現、Directed Spatial Commonsense Graph (D-SCG)、常識知識ベースからの追加の概念ノードで強化された空間シーン グラフを提案します。
具体的には、D-SCG のノードはシーン オブジェクトを表し、エッジはそれらの相対位置を表します。
次に、各オブジェクト ノードは、さまざまな常識的な関係を介して一連の概念ノードに接続されます。
提案されたグラフベースのシーン表現では、新しい注意メッセージパッシングメカニズムを実装するグラフニューラルネットワークを使用して、ターゲットオブジェクトの未知の位置を推定します。
ネットワークは、最初に、D-SCG のオブジェクト ノードと概念ノードの両方を集約してオブジェクトの豊富な表現を学習することにより、ターゲット オブジェクトと各可視オブジェクト間の相対位置を予測します。
次に、これらの相対位置をマージして、最終的な位置を取得します。
Partial ScanNet を使用してこの方法を評価し、8 倍のトレーニング速度でローカリゼーション精度の点で最先端を 5.9% 改善しました。

要約(オリジナル)

We propose an end-to-end solution to address the problem of object localisation in partial scenes, where we aim to estimate the position of an object in an unknown area given only a partial 3D scan of the scene. We propose a novel scene representation to facilitate the geometric reasoning, Directed Spatial Commonsense Graph (D-SCG), a spatial scene graph that is enriched with additional concept nodes from a commonsense knowledge base. Specifically, the nodes of D-SCG represent the scene objects and the edges are their relative positions. Each object node is then connected via different commonsense relationships to a set of concept nodes. With the proposed graph-based scene representation, we estimate the unknown position of the target object using a Graph Neural Network that implements a novel attentional message passing mechanism. The network first predicts the relative positions between the target object and each visible object by learning a rich representation of the objects via aggregating both the object nodes and the concept nodes in D-SCG. These relative positions then are merged to obtain the final position. We evaluate our method using Partial ScanNet, improving the state-of-the-art by 5.9% in terms of the localisation accuracy at a 8x faster training speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google