Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly Supervised 3D Visual Grounding

要約

3D 視覚的グラウンディングには、特定の文のクエリに対応する 3D シーン内のターゲット オブジェクトを見つけることが含まれます。
多くのアプローチが提案され、優れたパフォーマンスを達成していますが、いずれも 3D 点群での高密度のオブジェクトと文のペアの注釈を必要とし、時間と費用の両方がかかります。
きめの細かい注釈付きデータを取得するのが難しいという問題に対処するために、弱教師付き注釈を活用して 3D 視覚グラウンディング モデルを学習することを提案します。つまり、オブジェクトと文のリンクを学習するために、大まかなシーンと文の対応のみが使用されます。
これを達成するために、オブジェクト提案と文の間の意味的類似性を粗い方法から細かい方法まで分析する、新しい意味的一致モデルを設計します。
具体的には、まずオブジェクトの提案を抽出し、特徴とクラスの類似性行列に基づいて上位 K 個の候補を大まかに選択します。
次に、各候補を使用して文のマスクされたキーワードを 1 つずつ再構築します。再構築された精度は、クエリに対する各候補の意味的類似性を細かく反映します。
さらに、粗いから細かいまでのセマンティックマッチングの知識を典型的な 2 段階の 3D ビジュアルグラウンディングモデルに抽出します。これにより、十分に研究された既存のアーキテクチャの構造を最大限に活用することで、推論コストが削減され、パフォーマンスが向上します。
ScanRefer、Nr3D、Sr3D について広範な実験を実施し、提案手法の有効性を実証しています。

要約(オリジナル)

3D visual grounding involves finding a target object in a 3D scene that corresponds to a given sentence query. Although many approaches have been proposed and achieved impressive performance, they all require dense object-sentence pair annotations in 3D point clouds, which are both time-consuming and expensive. To address the problem that fine-grained annotated data is difficult to obtain, we propose to leverage weakly supervised annotations to learn the 3D visual grounding model, i.e., only coarse scene-sentence correspondences are used to learn object-sentence links. To accomplish this, we design a novel semantic matching model that analyzes the semantic similarity between object proposals and sentences in a coarse-to-fine manner. Specifically, we first extract object proposals and coarsely select the top-K candidates based on feature and class similarity matrices. Next, we reconstruct the masked keywords of the sentence using each candidate one by one, and the reconstructed accuracy finely reflects the semantic similarity of each candidate to the query. Additionally, we distill the coarse-to-fine semantic matching knowledge into a typical two-stage 3D visual grounding model, which reduces inference costs and improves performance by taking full advantage of the well-studied structure of the existing architectures. We conduct extensive experiments on ScanRefer, Nr3D, and Sr3D, which demonstrate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google