Close-up-GS: Enhancing Close-Up View Synthesis in 3D Gaussian Splatting with Progressive Self-Training

要約

3D Gaussian Splatting（3DGS）は、特定の視点でトレーニングした後、新しいビューを合成する際に印象的なパフォーマンスを実証しました。
ただし、合成されたビューがトレーニングビューから大幅に逸脱すると、そのレンダリング品質は悪化します。
この減少は、（1）分散のシナリオに一般化する際のモデルの困難と、（2）実質的な解像度の変化と閉塞によって引き起こされる細かい詳細を補間する際の課題が原因で発生します。
この制限の注目すべきケースは、クローズアップビューの生成です。これは、トレーニングセットのものよりもオブジェクトにかなり近いビューを生成することです。
この問題に取り組むために、3DGSモデルを自己生成データで徐々にトレーニングすることに基づいて、クローズアップビュー生成のための新しいアプローチを提案します。
私たちのソリューションは、3つの重要なアイデアに基づいています。
まず、最近導入された3Dに導入された生成モデルであるSEE3Dモデルを活用して、レンダリングされたビューの詳細を強化します。
第二に、3DGSモデルの「信頼領域」を徐々に拡張し、SEE3Dの一連の参照ビューを更新する戦略を提案します。
最後に、上記のスキームから生成されたトレーニングデータを使用して3DGSモデルを慎重に更新するための微調整戦略を紹介します。
この問題に関するより良い研究を促進するために、クローズアップビューの評価のメトリックをさらに定義します。
特別に選択されたシナリオでクローズアップビューのために評価を実施することにより、提案されたアプローチは、競争ソリューションよりも明確な利点を示しています。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has demonstrated impressive performance in synthesizing novel views after training on a given set of viewpoints. However, its rendering quality deteriorates when the synthesized view deviates significantly from the training views. This decline occurs due to (1) the model’s difficulty in generalizing to out-of-distribution scenarios and (2) challenges in interpolating fine details caused by substantial resolution changes and occlusions. A notable case of this limitation is close-up view generation–producing views that are significantly closer to the object than those in the training set. To tackle this issue, we propose a novel approach for close-up view generation based by progressively training the 3DGS model with self-generated data. Our solution is based on three key ideas. First, we leverage the See3D model, a recently introduced 3D-aware generative model, to enhance the details of rendered views. Second, we propose a strategy to progressively expand the “trust regions” of the 3DGS model and update a set of reference views for See3D. Finally, we introduce a fine-tuning strategy to carefully update the 3DGS model with training data generated from the above schemes. We further define metrics for close-up views evaluation to facilitate better research on this problem. By conducting evaluations on specifically selected scenarios for close-up views, our proposed approach demonstrates a clear advantage over competitive solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google