DINO in the Room: Leveraging 2D Foundation Models for 3D Segmentation

要約

大規模な画像データセットでトレーニングされたVision Foundationモデル（VFM）は、2D視覚認識が大幅に進歩した高品質の機能を提供します。
ただし、3Dポイントクラウドデータセットに沿って2D画像が一般的に利用できるにもかかわらず、3Dビジョンにおけるそれらの可能性はほとんど未開発のままです。
重要な研究は2D-3D Fusionに専念していますが、最近の最先端の3Dメソッドは主に3Dデータに焦点を当てており、VFMの3Dモデルへの統合を未吸引に残しています。
この作業では、2Dファンデーションモデルの機能を抽出し、3Dに投影し、最後に3Dポイントクラウドセグメンテーションモデルに注入するシンプルで効果的なアプローチであるDITRを導入することにより、この傾向に挑戦します。
DITRは、屋内と屋外の3Dセマンティックセグメンテーションベンチマークで最先端の結果を達成しています。
推論中に画像が利用できない場合でもVFMの使用を有効にするために、2Dファンデーションモデルを事前削除タスクとして3Dバックボーンに蒸留することをさらに提案します。
2D VFMから蒸留された知識を使用して3Dバックボーンを初期化することにより、ダウンストリーム3Dセグメンテーションタスクの強力な基盤を作成し、最終的にはさまざまなデータセット全体でパフォーマンスを向上させます。

要約(オリジナル)

Vision foundation models (VFMs) trained on large-scale image datasets provide high-quality features that have significantly advanced 2D visual recognition. However, their potential in 3D vision remains largely untapped, despite the common availability of 2D images alongside 3D point cloud datasets. While significant research has been dedicated to 2D-3D fusion, recent state-of-the-art 3D methods predominantly focus on 3D data, leaving the integration of VFMs into 3D models underexplored. In this work, we challenge this trend by introducing DITR, a simple yet effective approach that extracts 2D foundation model features, projects them to 3D, and finally injects them into a 3D point cloud segmentation model. DITR achieves state-of-the-art results on both indoor and outdoor 3D semantic segmentation benchmarks. To enable the use of VFMs even when images are unavailable during inference, we further propose to distill 2D foundation models into a 3D backbone as a pretraining task. By initializing the 3D backbone with knowledge distilled from 2D VFMs, we create a strong basis for downstream 3D segmentation tasks, ultimately boosting performance across various datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google