3D Scene Graph Prediction on Point Clouds Using Knowledge Graphs

要約

3D シーン グラフ予測は、3D 環境内のオブジェクト クラスとその関係を同時に予測することを目的としたタスクです。
これらの環境は主に人間によって人間のために設計されているため、オブジェクトとその関係に関する常識的な知識を組み込むと、シーン グラフの予測が大幅に制約され、強化される可能性があります。
この論文では、屋内シーンの点群に対する 3D シーン グラフ予測のための常識知識グラフの適用を調査します。
現実世界の屋内データセットで行われた実験を通じて、メッセージ パッシング手法を介して外部の常識知識を統合すると、状態と比較した場合、外部知識ではシーン グラフの予測精度が 15.0 % 向上し、内部知識では $7.96\%$ 向上することが実証されました。
最先端のアルゴリズム。
また、より現実的なロボット設定でのモデルの使用法を示すために、シーン グラフ生成を 1 秒あたり 10 フレームで現実世界でテストしました。

要約(オリジナル)

3D scene graph prediction is a task that aims to concurrently predict object classes and their relationships within a 3D environment. As these environments are primarily designed by and for humans, incorporating commonsense knowledge regarding objects and their relationships can significantly constrain and enhance the prediction of the scene graph. In this paper, we investigate the application of commonsense knowledge graphs for 3D scene graph prediction on point clouds of indoor scenes. Through experiments conducted on a real-world indoor dataset, we demonstrate that integrating external commonsense knowledge via the message-passing method leads to a 15.0 % improvement in scene graph prediction accuracy with external knowledge and $7.96\%$ with internal knowledge when compared to state-of-the-art algorithms. We also tested in the real world with 10 frames per second for scene graph generation to show the usage of the model in a more realistic robotics setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google