SuperGaussian: Repurposing Video Models for 3D Super Resolution

要約

幾何学的な詳細や外観の詳細を追加することで粗い 3D モデルをアップサンプリングする、シンプルでモジュール式の汎用的な方法を紹介します。
生成 3D モデルは現在存在していますが、画像やビデオの分野では、対応するモデルの品質にまだ匹敵しません。
既存の (事前トレーニングされた) ビデオ モデルを 3D 超解像度に直接再利用できるため、高品質の 3D トレーニング モデルの大規模リポジトリの不足の問題を回避できることを実証します。
3D 一貫性のないビデオ アップサンプリング モデルを再利用し、3D 統合と組み合わせて 3D 一貫性のある結果を生成する方法について説明します。
出力として、オブジェクト中心で効果的な高品質のガウス スプラット モデルを生成します。
私たちの方法はカテゴリーにとらわれず、既存の 3D ワークフローに簡単に組み込むことができます。
私たちは、複雑さと表現の両方の点で多様なさまざまな 3D 入力 (ガウス スプラットや NeRF など) で提案した SuperGaussian を評価し、私たちの単純な方法が最終 3D モデルの忠実度を大幅に向上させることを実証します。
詳細については、プロジェクト Web サイトを確認してください: supergaussian.github.io

要約(オリジナル)

We present a simple, modular, and generic method that upsamples coarse 3D models by adding geometric and appearance details. While generative 3D models now exist, they do not yet match the quality of their counterparts in image and video domains. We demonstrate that it is possible to directly repurpose existing (pretrained) video models for 3D super-resolution and thus sidestep the problem of the shortage of large repositories of high-quality 3D training models. We describe how to repurpose video upsampling models, which are not 3D consistent, and combine them with 3D consolidation to produce 3D-consistent results. As output, we produce high quality Gaussian Splat models, which are object centric and effective. Our method is category agnostic and can be easily incorporated into existing 3D workflows. We evaluate our proposed SuperGaussian on a variety of 3D inputs, which are diverse both in terms of complexity and representation (e.g., Gaussian Splats or NeRFs), and demonstrate that our simple method significantly improves the fidelity of the final 3D models. Check our project website for details: supergaussian.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google