Open3DSG: Open-Vocabulary 3D Scene Graphs from Point Clouds with Queryable Objects and Open-Set Relationships

要約

3D シーン グラフ予測の現在のアプローチは、ラベル付きデータセットに依存して、既知のオブジェクト クラスと関係カテゴリの固定セットに対してモデルをトレーニングします。
ラベル付けされたシーン グラフ データを必要とせず、オープンワールドで 3D シーン グラフ予測を学習するための代替アプローチである Open3DSG を紹介します。
3D シーン グラフ予測バックボーンの特徴を、強力なオープンワールド 2D ビジョン言語基盤モデルの特徴空間と同時埋め込みます。
これにより、オープンボキャブラリからオブジェクトクラスをクエリし、シーングラフの特徴とクエリされたオブジェクトクラスをコンテキストとして持つ根拠のあるLLMからオブジェクト間の関係を予測することにより、ゼロショット方式で3D点群から3Dシーングラフを予測することが可能になります。
Open3DSG は、明示的なオープン語彙オブジェクト クラスだけでなく、事前定義されたラベル セットに限定されないオープンセットの関係も予測する初の 3D 点群メソッドであり、レアなオブジェクトや特定のオブジェクトや関係を表現することが可能になります。
予測された 3D シーン グラフ。
私たちの実験では、Open3DSG が任意のオブジェクト クラスだけでなく、空間的、支援的、意味的、比較的な関係を記述するオブジェクト間の複雑な関係を予測するのに効果的であることが示されています。

要約(オリジナル)

Current approaches for 3D scene graph prediction rely on labeled datasets to train models for a fixed set of known object classes and relationship categories. We present Open3DSG, an alternative approach to learn 3D scene graph prediction in an open world without requiring labeled scene graph data. We co-embed the features from a 3D scene graph prediction backbone with the feature space of powerful open world 2D vision language foundation models. This enables us to predict 3D scene graphs from 3D point clouds in a zero-shot manner by querying object classes from an open vocabulary and predicting the inter-object relationships from a grounded LLM with scene graph features and queried object classes as context. Open3DSG is the first 3D point cloud method to predict not only explicit open-vocabulary object classes, but also open-set relationships that are not limited to a predefined label set, making it possible to express rare as well as specific objects and relationships in the predicted 3D scene graph. Our experiments show that Open3DSG is effective at predicting arbitrary object classes as well as their complex inter-object relationships describing spatial, supportive, semantic and comparative relationships.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google