FatesGS: Fast and Accurate Sparse-View Surface Reconstruction using Gaussian Splatting with Depth-Feature Consistency

要約

最近、ガウス スプラッティングはコンピュータ ビジョンの分野で新しいトレンドを引き起こしました。
新しいビューの合成とは別に、マルチビューの再構成の領域にも拡張されています。
最新の方法により、高速なトレーニング速度を確保しながら、完全で詳細な表面の再構成が容易になります。
ただし、これらの方法でも依然として高密度の入力ビューが必要であり、ビューが疎であると出力品質が大幅に低下します。
ガウス プリミティブは少数のトレーニング ビューに過剰適合する傾向があり、ノイズの多いフローターや不完全な再構成サーフェスにつながることが観察されました。
この論文では、ビュー内の深さとマルチビューの特徴の一貫性を活用して、非常に正確な表面再構成を実現する革新的なスパースビュー再構成フレームワークを紹介します。
具体的には、単眼の深度ランキング情報を利用してパッチ内の深度分布の一貫性を監視し、平滑性損失を使用して分布の連続性を強化します。
より精細な表面再構成を実現するために、マルチビュー投影機能を通じて深度の絶対位置を最適化します。
DTU と BlendedMVS に関する広範な実験により、私たちの手法が 60 倍から 200 倍の速度向上で最先端の手法を上回っており、コストのかかる事前トレーニングを必要とせずに、迅速かつきめ細かいメッシュの再構築が実現されることが実証されました。

要約(オリジナル)

Recently, Gaussian Splatting has sparked a new trend in the field of computer vision. Apart from novel view synthesis, it has also been extended to the area of multi-view reconstruction. The latest methods facilitate complete, detailed surface reconstruction while ensuring fast training speed. However, these methods still require dense input views, and their output quality significantly degrades with sparse views. We observed that the Gaussian primitives tend to overfit the few training views, leading to noisy floaters and incomplete reconstruction surfaces. In this paper, we present an innovative sparse-view reconstruction framework that leverages intra-view depth and multi-view feature consistency to achieve remarkably accurate surface reconstruction. Specifically, we utilize monocular depth ranking information to supervise the consistency of depth distribution within patches and employ a smoothness loss to enhance the continuity of the distribution. To achieve finer surface reconstruction, we optimize the absolute position of depth through multi-view projection features. Extensive experiments on DTU and BlendedMVS demonstrate that our method outperforms state-of-the-art methods with a speedup of 60x to 200x, achieving swift and fine-grained mesh reconstruction without the need for costly pre-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google