SWAG: Splatting in the Wild images with Appearance-conditioned Gaussians

要約

暗黙的ニューラル表現手法は、構造化されていない自然界の写真コレクションから 3D シーンを学習する点で目覚ましい進歩を示していますが、ボリューム レンダリングにかかる​​膨大な計算コストによって依然として限界があります。
最近では、特に小規模でオブジェクト中心のシナリオ向けに、優れたレンダリング品質とトレーニング効率を備えた、より高速な代替手段として 3D ガウス スプラッティングが登場しました。
それにもかかわらず、この手法は、構造化されていない実際のデータではパフォーマンスが低下します。
これに取り組むために、3D ガウス スプラッティングを拡張して非構造化画像コレクションを処理します。
これは、外観をモデリングしてレンダリングされたイメージの測光変化を把握することでこれを実現します。
さらに、教師なしの方法でシーン オクルーダーの存在を処理できるように一時ガウスをトレーニングするための新しいメカニズムを導入します。
多様な写真収集シーンと屋外のランドマークのマルチパス取得に関する実験は、効率が向上して最先端の結果を達成する従来の研究と比較して、私たちの方法の有効性を示しています。

要約(オリジナル)

Implicit neural representation methods have shown impressive advancements in learning 3D scenes from unstructured in-the-wild photo collections but are still limited by the large computational cost of volumetric rendering. More recently, 3D Gaussian Splatting emerged as a much faster alternative with superior rendering quality and training efficiency, especially for small-scale and object-centric scenarios. Nevertheless, this technique suffers from poor performance on unstructured in-the-wild data. To tackle this, we extend over 3D Gaussian Splatting to handle unstructured image collections. We achieve this by modeling appearance to seize photometric variations in the rendered images. Additionally, we introduce a new mechanism to train transient Gaussians to handle the presence of scene occluders in an unsupervised manner. Experiments on diverse photo collection scenes and multi-pass acquisition of outdoor landmarks show the effectiveness of our method over prior works achieving state-of-the-art results with improved efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google