WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections

要約

制約のない写真コレクションからの Novel View Synthesis (NVS) は、コンピューター グラフィックスでは困難です。
最近、3D ガウス スプラッティング (3DGS) は、静的シーンのフォトリアリスティックなリアルタイム NVS に有望であることが示されました。
3DGS に基づいて、写真コレクションからシーンを再構成するための効率的なポイントベースの微分可能なレンダリング フレームワークを提案します。
当社の主要なイノベーションは、3DGS をさまざまな照明条件と測光後処理に適応させる残差ベースの球面調和係数転送モジュールです。
この軽量モジュールは事前に計算することができ、レンダリングされたイメージから 3D ガウス属性への効率的な勾配伝播を保証します。
さらに、制約のない写真コレクションからの NVS の 2 つの最も重要な部分である外観エンコーダーとトランジェント マスク プレディクターが相互に有益である可能性があることが観察されています。
各画像の一時的なオクルーダーと潜在的な外観表現を同時に予測する、プラグアンドプレイの軽量空間注意モジュールを導入します。
トレーニングと前処理の後、私たちのメソッドは標準の 3DGS 形式およびレンダリング パイプラインと一致し、さまざまな 3DGS アプリケーションへのシームレスな統合が容易になります。
多様なデータセットに対する広範な実験により、私たちのアプローチは、高い収束とレンダリング速度による新しいビューと外観の合成のレンダリング品質において、既存のアプローチよりも優れていることがわかりました。

要約(オリジナル)

Novel View Synthesis (NVS) from unconstrained photo collections is challenging in computer graphics. Recently, 3D Gaussian Splatting (3DGS) has shown promise for photorealistic and real-time NVS of static scenes. Building on 3DGS, we propose an efficient point-based differentiable rendering framework for scene reconstruction from photo collections. Our key innovation is a residual-based spherical harmonic coefficients transfer module that adapts 3DGS to varying lighting conditions and photometric post-processing. This lightweight module can be pre-computed and ensures efficient gradient propagation from rendered images to 3D Gaussian attributes. Additionally, we observe that the appearance encoder and the transient mask predictor, the two most critical parts of NVS from unconstrained photo collections, can be mutually beneficial. We introduce a plug-and-play lightweight spatial attention module to simultaneously predict transient occluders and latent appearance representation for each image. After training and preprocessing, our method aligns with the standard 3DGS format and rendering pipeline, facilitating seamlessly integration into various 3DGS applications. Extensive experiments on diverse datasets show our approach outperforms existing approaches on the rendering quality of novel view and appearance synthesis with high converge and rendering speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google