Test3R: Learning to Reconstruct 3D at Test Time

要約

3D再構成のためのDust3R回帰ペアワイズポイントマップなどの密なマッチング方法。
ただし、ペアワイズ予測と限られた一般化能力への依存は、グローバルな幾何学的一貫性を本質的に制限します。
この作業では、幾何学的精度を大幅に向上させる驚くほどシンプルなテスト時間学習技術であるTest3Rを紹介します。
画像トリプレット（$ i_1、i_2、i_3 $）を使用して、test3rはペア（$ i_1、i_2 $）および（$ i_1、i_3 $）からの再構成を生成します。
コアのアイデアは、自己教師の目的を介してテスト時にネットワークを最適化することです。共通の画像$ i_1 $と比較して、これら2つの再構成間の幾何学的一貫性を最大化することです。
これにより、入力に関係なく、モデルがクロスペアの一貫した出力を生成します。
広範な実験は、私たちの手法が、3D再構成およびマルチビュー深度推定タスクに関する以前の最先端の方法を大幅に上回ることを示しています。
さらに、それは普遍的に適用可能であり、コストがかからないため、他のモデルに簡単に適用され、最小限のテスト時間トレーニングオーバーヘッドとパラメーターフットプリントで実装されています。
コードはhttps://github.com/nopqaq/test3rで入手できます。

要約(オリジナル)

Dense matching methods like DUSt3R regress pairwise pointmaps for 3D reconstruction. However, the reliance on pairwise prediction and the limited generalization capability inherently restrict the global geometric consistency. In this work, we introduce Test3R, a surprisingly simple test-time learning technique that significantly boosts geometric accuracy. Using image triplets ($I_1,I_2,I_3$), Test3R generates reconstructions from pairs ($I_1,I_2$) and ($I_1,I_3$). The core idea is to optimize the network at test time via a self-supervised objective: maximizing the geometric consistency between these two reconstructions relative to the common image $I_1$. This ensures the model produces cross-pair consistent outputs, regardless of the inputs. Extensive experiments demonstrate that our technique significantly outperforms previous state-of-the-art methods on the 3D reconstruction and multi-view depth estimation tasks. Moreover, it is universally applicable and nearly cost-free, making it easily applied to other models and implemented with minimal test-time training overhead and parameter footprint. Code is available at https://github.com/nopQAQ/Test3R.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google