UFORecon: Generalizable Sparse-View Surface Reconstruction from Arbitrary and UnFavOrable Sets

要約

一般化可能なニューラル暗黙的表面再構成は、目に見えないシーンからの限られた数の多視点画像を考慮して、正確な基礎となるジオメトリを取得することを目的としています。
ただし、既存の方法では、トレーニング段階とテスト段階で事前定義されたスコアを使用して、有益で関連性のあるビューのみが選択されます。
この制約により、望ましい組み合わせの可用性が常に保証されるわけではない現実のシナリオではモデルが非現実的になります。
入力ビューの組み合わせの有効性を示すために、ビュー組み合わせスコアを導入して検証します。
以前の方法では、任意の不利な集合の下で縮退した解が出力されることがわかりました。
この発見に基づいて、我々は堅牢なビューの組み合わせで一般化可能な表面再構成フレームワークである UFORecon を提案します。
これを達成するために、クロスビューマッチングトランスフォーマーを適用してソース画像間の相互作用をモデル化し、相関錐台を構築してグローバルな相関を捕捉します。
さらに、ペアごとの特徴の類似性をビュー一貫性のある事前分布として明示的にエンコードします。
私たちが提案したフレームワークは、ビューの組み合わせの一般化性の点で、また、有利なビューの組み合わせでトレーニングされた従来の一般化可能なプロトコルの点で、以前の方法よりも大幅に優れています。
コードは https://github.com/Youngju-Na/UFORecon で入手できます。

要約(オリジナル)

Generalizable neural implicit surface reconstruction aims to obtain an accurate underlying geometry given a limited number of multi-view images from unseen scenes. However, existing methods select only informative and relevant views using predefined scores for training and testing phases. This constraint renders the model impractical in real-world scenarios, where the availability of favorable combinations cannot always be ensured. We introduce and validate a view-combination score to indicate the effectiveness of the input view combination. We observe that previous methods output degenerate solutions under arbitrary and unfavorable sets. Building upon this finding, we propose UFORecon, a robust view-combination generalizable surface reconstruction framework. To achieve this, we apply cross-view matching transformers to model interactions between source images and build correlation frustums to capture global correlations. Additionally, we explicitly encode pairwise feature similarities as view-consistent priors. Our proposed framework significantly outperforms previous methods in terms of view-combination generalizability and also in the conventional generalizable protocol trained with favorable view-combinations. The code is available at https://github.com/Youngju-Na/UFORecon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google