LEO-VL: Towards 3D Vision-Language Generalists via Data Scaling with Efficient Representation

要約

3Dシーンを理解し、自然言語の指示に従って幅広いタスクを実行できる3D-VLジェネラリストの開発は、3D-VLコミュニティで長年の目標となっています。
最近の進歩にもかかわらず、3D-VLモデルは、能力と堅牢性の2Dカウンターパートにまだ遅れをとっており、ジェネラリストの基準に達していません。
3D-VLジェネラリストの開発に対する重要な障害は、効率的なシーン表現の欠如によって妨げられるデータのスケーラビリティにあります。
凝縮された特徴グリッド（CFG）に基づいて構築された3D-VLモデルであるLeo-VLを提案します。これは、トークンオーバーヘッドを大幅に削減しながら、2D認識と3D空間構造をブリッジする効率的なシーン表現です。
この効率は、3D-VLジェネラリストに対する大規模なトレーニングのロックを解除します。このトレーニングは、実世界の屋内シーンの4つのドメインとキャプションやダイアログなどの5つのタスクにまたがる700k以上の高品質の3D-VLデータをキュレートします。
LEO-VLは、SQA3D、MSQA、Beacon3Dなど、さまざまな3D QAベンチマークで最先端のパフォーマンスを実現しています。
アブレーション研究は、私たちの表現の効率、タスクとシーンの多様性の重要性、およびデータキュレーションの原則の妥当性を確認しています。
さらに、3D-VLモデルの堅牢性を高める新しいトレーニング後の目標であるScenedPoを紹介します。
私たちの調査結果が、スケーラブルで堅牢な3D-VLジェネラリストの進歩に貢献することを願っています。

要約(オリジナル)

Developing 3D-VL generalists capable of understanding 3D scenes and following natural language instructions to perform a wide range of tasks has been a long-standing goal in the 3D-VL community. Despite recent progress, 3D-VL models still lag behind their 2D counterparts in capability and robustness, falling short of the generalist standard. A key obstacle to developing 3D-VL generalists lies in data scalability, hindered by the lack of an efficient scene representation. We propose LEO-VL, a 3D-VL model built upon condensed feature grid (CFG), an efficient scene representation that bridges 2D perception and 3D spatial structure while significantly reducing token overhead. This efficiency unlocks large-scale training towards 3D-VL generalist, for which we curate over 700k high-quality 3D-VL data spanning four domains of real-world indoor scenes and five tasks such as captioning and dialogue. LEO-VL achieves state-of-the-art performance on a variety of 3D QA benchmarks, including SQA3D, MSQA, and Beacon3D. Ablation studies confirm the efficiency of our representation, the importance of task and scene diversity, and the validity of our data curation principle. Furthermore, we introduce SceneDPO, a novel post-training objective that enhances the robustness of 3D-VL models. We hope our findings contribute to the advancement of scalable and robust 3D-VL generalists.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google