3DRP-Net: 3D Relative Position-aware Network for 3D Visual Grounding

要約

3D ビジュアル グラウンディングは、自由形式の言語記述によって 3D 点群内のターゲット オブジェクトの位置を特定することを目的としています。
通常、ターゲット オブジェクトを説明する文は、他のオブジェクトとの相対関係やシーン全体におけるその位置に関する情報を提供する傾向があります。
この研究では、オブジェクト間の相対的な空間関係を効果的にキャプチャし、オブジェクトの属性を強化できる、3D Relative Position-aware Network (3DRP-Net) と呼ばれる、関係を認識した 1 段階のフレームワークを提案します。
具体的には、1) オブジェクトのペアのコンテキストでさまざまな方向から相対関係を分析する 3D 相対位置マルチヘッド アテンション (3DRP-MA) モジュールを提案します。これは、モデルが文中で言及されている特定のオブジェクトの関係に焦点を当てるのに役立ちます。
2) 冗長な点によって引き起こされる空間的曖昧さを軽減するためにソフトラベル戦略を設計しました。これにより、一定の識別分布を通じて学習プロセスがさらに安定化および強化されます。
3 つのベンチマーク (つまり、ScanRefer と Nr3D/Sr3D) で行われた広範な実験により、私たちの手法が一般にすべての最先端の手法よりも優れていることが実証されました。
ソースコードはGitHubで公開する予定です。

要約(オリジナル)

3D visual grounding aims to localize the target object in a 3D point cloud by a free-form language description. Typically, the sentences describing the target object tend to provide information about its relative relation between other objects and its position within the whole scene. In this work, we propose a relation-aware one-stage framework, named 3D Relative Position-aware Network (3DRP-Net), which can effectively capture the relative spatial relationships between objects and enhance object attributes. Specifically, 1) we propose a 3D Relative Position Multi-head Attention (3DRP-MA) module to analyze relative relations from different directions in the context of object pairs, which helps the model to focus on the specific object relations mentioned in the sentence. 2) We designed a soft-labeling strategy to alleviate the spatial ambiguity caused by redundant points, which further stabilizes and enhances the learning process through a constant and discriminative distribution. Extensive experiments conducted on three benchmarks (i.e., ScanRefer and Nr3D/Sr3D) demonstrate that our method outperforms all the state-of-the-art methods in general. The source code will be released on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google