D3Net: A Unified Speaker-Listener Architecture for 3D Dense Captioning and Visual Grounding

要約

3Dでの高密度字幕と視覚的接地に関する最近の研究は、印象的な結果を達成しています。
両方の分野での開発にもかかわらず、利用可能な3D視覚言語データの量が限られているため、3D視覚的接地および3D高密度キャプション方法の過剰適合の問題が発生します。
また、複雑な3D環境でオブジェクトを区別して記述する方法はまだ十分に研究されていません。
これらの課題に対処するために、D3Netを紹介します。これは、検出、説明、および識別が可能なエンドツーエンドのニューラルスピーカー-リスナーアーキテクチャです。
私たちのD3Netは、自己批判的な方法で3Dの高密度キャプションと視覚的接地を統合します。
D3Netのこの自己批判的な特性は、オブジェクトキャプションの生成中に識別可能性をもたらし、部分的に注釈が付けられた説明を使用してScanNetデータの半教師ありトレーニングを可能にします。
私たちの方法は、ScanReferデータセットの両方のタスクでSOTA方法を上回り、SOTA3D高密度キャプション方法を大幅に上回っています。

要約(オリジナル)

Recent studies on dense captioning and visual grounding in 3D have achieved impressive results. Despite developments in both areas, the limited amount of available 3D vision-language data causes overfitting issues for 3D visual grounding and 3D dense captioning methods. Also, how to discriminatively describe objects in complex 3D environments is not fully studied yet. To address these challenges, we present D3Net, an end-to-end neural speaker-listener architecture that can detect, describe and discriminate. Our D3Net unifies dense captioning and visual grounding in 3D in a self-critical manner. This self-critical property of D3Net also introduces discriminability during object caption generation and enables semi-supervised training on ScanNet data with partially annotated descriptions. Our method outperforms SOTA methods in both tasks on the ScanRefer dataset, surpassing the SOTA 3D dense captioning method by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google