Weakly-Supervised 3D Visual Grounding based on Visual Linguistic Alignment

要約

3D 点群内のターゲット オブジェクトまたは領域に自然言語クエリを基礎付ける方法を学習することは、3D シーンを理解するために非常に重要です。
それにもかかわらず、既存の 3D ビジュアルグラウンディングアプローチでは、テキストクエリに対してかなりの数の境界ボックス注釈が必要であり、これを取得するには時間と労力がかかります。
この論文では、視覚言語的整合に基づいた 3D 視覚グラウンディングのための弱教師ありアプローチである 3D-VLA を提案します。
当社の 3D-VLA は、テキストと 2D 画像の間のセマンティクスを調整する現在の大規模ビジョン言語モデル (VLM) の優れた能力、および 2D 画像と 3D 点群の間に自然に存在する対応関係を活用し、暗黙的に対応関係を構築します。
トレーニング手順できめ細かいボックス注釈を必要とせずに、テキストと 3D 点群の間を移動できます。
推論段階では、学習されたテキストと 3D の対応関係は、2D 画像がなくても、テキスト クエリを 3D ターゲット オブジェクトに基づいて実行するのに役立ちます。
私たちの知る限り、これは大規模な視覚言語モデルを関与させて、弱い教師付きの方法で 3D 視覚基盤を調査した最初の研究であり、ReferIt3D および ScanRefer データセットに関する広範な実験により、私たちの 3D-VLA が同等、さらには優れたパフォーマンスを達成していることが実証されています。
完全に監視された方法よりも優れた結果が得られます。

要約(オリジナル)

Learning to ground natural language queries to target objects or regions in 3D point clouds is quite essential for 3D scene understanding. Nevertheless, existing 3D visual grounding approaches require a substantial number of bounding box annotations for text queries, which is time-consuming and labor-intensive to obtain. In this paper, we propose 3D-VLA, a weakly supervised approach for 3D visual grounding based on Visual Linguistic Alignment. Our 3D-VLA exploits the superior ability of current large-scale vision-language models (VLMs) on aligning the semantics between texts and 2D images, as well as the naturally existing correspondences between 2D images and 3D point clouds, and thus implicitly constructs correspondences between texts and 3D point clouds with no need for fine-grained box annotations in the training procedure. During the inference stage, the learned text-3D correspondence will help us ground the text queries to the 3D target objects even without 2D images. To the best of our knowledge, this is the first work to investigate 3D visual grounding in a weakly supervised manner by involving large scale vision-language models, and extensive experiments on ReferIt3D and ScanRefer datasets demonstrate that our 3D-VLA achieves comparable and even superior results over the fully supervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google