Probing the 3D Awareness of Visual Foundation Models

要約

大規模な事前トレーニングの最近の進歩により、強力な機能を備えた視覚的な基盤モデルが生まれました。
最近のモデルは、トレーニング タスクのために任意の画像に一般化できるだけでなく、その中間表現は検出やセグメンテーションなどの他の視覚タスクにも役立ちます。
このようなモデルが 2D でオブジェクトを分類、描写、位置特定できることを考えると、モデルが 3D 構造も表すかどうかが疑問になります。
この研究では、視覚基盤モデルの 3D 認識を分析します。
3D 認識は、表現が (1) シーンの 3D 構造をエンコードし、(2) ビュー全体で一貫して表面を表現することを意味すると仮定します。
私たちは、タスク固有のプローブとフリーズされたフィーチャに対するゼロショット推論手順を使用して、一連の実験を実行します。
私たちの実験により、現在のモデルのいくつかの制限が明らかになりました。
私たちのコードと分析は https://github.com/mbanani/probe3d でご覧いただけます。

要約(オリジナル)

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google