Language Conditioned Spatial Relation Reasoning for 3D Object Grounding

要約

自然言語に基づいて 3D シーン内のオブジェクトをローカライズするには、空間的な関係を理解し​​、推論する必要があります。
特に、「一番左の椅子」や「窓の隣の椅子」など、テキストで参照されている類似のオブジェクトを区別することが重要な場合がよくあります。
この作業では、3D オブジェクトとそれらの空間関係を接地するための言語調整済みトランスフォーマー モデルを提案します。
この目的のために、入力 3D 点群内のオブジェクト間の相対距離と方向を考慮した空間自己注意レイヤーを設計します。
このようなレイヤーを視覚入力と言語入力でトレーニングすると、空間関係のあいまいさを解消し、テキストによって参照されるオブジェクトをローカライズできます。
関係のクロスモーダル学習を促進するために、教師と生徒のアプローチをさらに提案します。このアプローチでは、教師モデルが最初にグラウンド トゥルース オブジェクト ラベルを使用してトレーニングされ、次に点群入力を使用して生徒モデルをトレーニングするのに役立ちます。
私たちは、私たちのアプローチの利点を示すアブレーション研究を行います。
また、困難な Nr3D、Sr3D、および ScanRefer 3D オブジェクト グラウンディング データセットで最先端技術を大幅に上回るモデルを示します。

要約(オリジナル)

Localizing objects in 3D scenes based on natural language requires understanding and reasoning about spatial relations. In particular, it is often crucial to distinguish similar objects referred by the text, such as ‘the left most chair’ and ‘a chair next to the window’. In this work we propose a language-conditioned transformer model for grounding 3D objects and their spatial relations. To this end, we design a spatial self-attention layer that accounts for relative distances and orientations between objects in input 3D point clouds. Training such a layer with visual and language inputs enables to disambiguate spatial relations and to localize objects referred by the text. To facilitate the cross-modal learning of relations, we further propose a teacher-student approach where the teacher model is first trained using ground-truth object labels, and then helps to train a student model using point cloud inputs. We perform ablation studies showing advantages of our approach. We also demonstrate our model to significantly outperform the state of the art on the challenging Nr3D, Sr3D and ScanRefer 3D object grounding datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google