Flow Distillation Sampling: Regularizing 3D Gaussians with Pre-trained Matching Priors

要約

3D Gaussian Splatting（3DGS）は、高速トレーニングとレンダリング速度で優れたレンダリング品質を達成しました。
ただし、その最適化プロセスには明示的な幾何学的制約が欠けており、観測入力ビューがまばらまたはまったくない領域で最適ではない幾何学的再構成につながります。
この作業では、3DGS最適化プロセスの前に事前に訓練されたマッチングを組み込むことにより、問題を軽減しようとします。
フロー蒸留サンプリング（FDS）を導入します。これは、事前に訓練された幾何学的知識を活用してガウス放射輝度フィールドの精度を強化する手法です。
私たちの方法は、入力ビューに隣接する観測されていないビューをターゲットにする戦略的サンプリング手法を採用しており、マッチングモデル（前流）から計算された光学フローを利用して、3DGSジオメトリ（放射線フロー）から分析的に計算された流れを導きます。
詳細なレンダリング、メッシュ再構築、および新しいビュー合成の包括的な実験では、最先端の方法よりもFDSの重要な利点が示されています。
さらに、私たちの解釈実験と分析は、幾何学的精度と品質のレンダリングに対するFDの影響に光を当てることを目的としており、そのパフォーマンスに関する洞察を読者に提供する可能性があります。
プロジェクトページ：https：//nju-3dv.github.io/projects/fds

要約(オリジナル)

3D Gaussian Splatting (3DGS) has achieved excellent rendering quality with fast training and rendering speed. However, its optimization process lacks explicit geometric constraints, leading to suboptimal geometric reconstruction in regions with sparse or no observational input views. In this work, we try to mitigate the issue by incorporating a pre-trained matching prior to the 3DGS optimization process. We introduce Flow Distillation Sampling (FDS), a technique that leverages pre-trained geometric knowledge to bolster the accuracy of the Gaussian radiance field. Our method employs a strategic sampling technique to target unobserved views adjacent to the input views, utilizing the optical flow calculated from the matching model (Prior Flow) to guide the flow analytically calculated from the 3DGS geometry (Radiance Flow). Comprehensive experiments in depth rendering, mesh reconstruction, and novel view synthesis showcase the significant advantages of FDS over state-of-the-art methods. Additionally, our interpretive experiments and analysis aim to shed light on the effects of FDS on geometric accuracy and rendering quality, potentially providing readers with insights into its performance. Project page: https://nju-3dv.github.io/projects/fds

arxiv情報

提供元, 利用サービス

arxiv.jp, Google