Pow3R: Empowering Unconstrained 3D Reconstruction with Camera and Scene Priors

要約

POW3Rは、受け入れる入力モダリティで非常に用途が広い新しい大規模な3D視覚回帰モデルです。
テスト時に既知のカメラまたはシーンプリエを活用するメカニズムがない以前のフィードフォワードモデルとは異なり、POW3Rには、単一のネットワーク内の入力画像とともに、内在性、相対ポーズ、密度、またはまばらな深さなどの補助情報の組み合わせが組み込まれています。
強力なプリトレーニングを活用するトランスベースのアーキテクチャである最近のDust3Rパラダイムに基づいて、当社の軽量で多用途の条件付けは、補助情報が利用可能なときにより正確な推定値を予測するための追加のガイダンスとして機能します。
トレーニング中に、各反復でモダリティのランダムサブセットをモデルに供給します。これにより、モデルは、テスト時に異なるレベルの既知のプライアーで動作できます。
これにより、ネイティブ画像解像度の推論を実行したり、Point-Cloudの完了など、新しい機能が開きます。
3D再構成、深度完了、マルチビュー深度予測、マルチビューステレオ、およびマルチビューポーズ推定タスクに関する実験は、最新の結果をもたらし、利用可能なすべての情報を利用する際のPoW3Rの有効性を確認します。
プロジェクトのウェブページはhttps://europe.naverlabs.com/pow3rです。

要約(オリジナル)

We present Pow3r, a novel large 3D vision regression model that is highly versatile in the input modalities it accepts. Unlike previous feed-forward models that lack any mechanism to exploit known camera or scene priors at test time, Pow3r incorporates any combination of auxiliary information such as intrinsics, relative pose, dense or sparse depth, alongside input images, within a single network. Building upon the recent DUSt3R paradigm, a transformer-based architecture that leverages powerful pre-training, our lightweight and versatile conditioning acts as additional guidance for the network to predict more accurate estimates when auxiliary information is available. During training we feed the model with random subsets of modalities at each iteration, which enables the model to operate under different levels of known priors at test time. This in turn opens up new capabilities, such as performing inference in native image resolution, or point-cloud completion. Our experiments on 3D reconstruction, depth completion, multi-view depth prediction, multi-view stereo, and multi-view pose estimation tasks yield state-of-the-art results and confirm the effectiveness of Pow3r at exploiting all available information. The project webpage is https://europe.naverlabs.com/pow3r.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google