Localized Gaussian Point Management

要約

ポイントの開始 (モーションからの構造などによる) が分布的に不適切であるため、ポイント管理は 3D ガウス スプラッティング (3DGS) モデルの最適化において重要なコンポーネントです。
通常、適応密度制御 (ADC) アルゴリズムが適用され、ポイント密度化のためのビュー平均勾配マグニチュードしきい値処理、枝刈りのための不透明度しきい値処理、および定期的な全ポイントの不透明度リセットが活用されます。
ただし、この戦略は、点の高密度化を必要とするすべての 3D ゾーンを識別できず、ネガティブな条件の悪い点を処理するための適切なメカニズムが欠如しているため、複雑な/特殊な画像領域 (透明など) への取り組みには限界があることが明らかになりました。
影響（誤った高い不透明度によるオクルージョン）。
これらの制限に対処するために、ポイント追加とジオメトリ キャリブレーションの両方に対する要求が最も高いエラーの原因となるゾーンを特定できる、局所的なポイント管理 (LPM) 戦略を提案します。
ゾーンの識別は、画像レンダリング エラーを参考にして、基礎となるマルチビュー ジオメトリ制約を利用することによって実現されます。
識別されたゾーンにポイントの高密度化を適用すると同時に、これらの領域の前にあるポイントの不透明度をリセットして、条件の悪いポイントを修正するための新しい機会を作成します。
LPM は多用途のプラグインとして機能し、既存の 3D ガウス スプラッティング モデルにシームレスに統合できます。
静的 3D シーンと動的 4D シーンの両方にわたる実験評価により、さまざまな既存の 3DGS モデルを定量的および定性的に強化する LPM 戦略の有効性が検証されます。
特に、LPM はバニラ 3DGS と SpaceTimeGS の両方を改善し、リアルタイム速度を維持しながら最先端のレンダリング品質を達成し、戦車と寺院やニューラル 3D ビデオ データセットなどの難しいデータセットで優れたパフォーマンスを発揮します。

要約(オリジナル)

Point management is a critical component in optimizing 3D Gaussian Splatting (3DGS) models, as the point initiation (e.g., via structure from motion) is distributionally inappropriate. Typically, the Adaptive Density Control (ADC) algorithm is applied, leveraging view-averaged gradient magnitude thresholding for point densification, opacity thresholding for pruning, and regular all-points opacity reset. However, we reveal that this strategy is limited in tackling intricate/special image regions (e.g., transparent) as it is unable to identify all the 3D zones that require point densification, and lacking an appropriate mechanism to handle the ill-conditioned points with negative impacts (occlusion due to false high opacity). To address these limitations, we propose a Localized Point Management (LPM) strategy, capable of identifying those error-contributing zones in the highest demand for both point addition and geometry calibration. Zone identification is achieved by leveraging the underlying multiview geometry constraints, with the guidance of image rendering errors. We apply point densification in the identified zone, whilst resetting the opacity of those points residing in front of these regions so that a new opportunity is created to correct ill-conditioned points. Serving as a versatile plugin, LPM can be seamlessly integrated into existing 3D Gaussian Splatting models. Experimental evaluation across both static 3D and dynamic 4D scenes validate the efficacy of our LPM strategy in boosting a variety of existing 3DGS models both quantitatively and qualitatively. Notably, LPM improves both vanilla 3DGS and SpaceTimeGS to achieve state-of-the-art rendering quality while retaining real-time speeds, outperforming on challenging datasets such as Tanks & Temples and the Neural 3D Video Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google