Vista3D: Unravel the 3D Darkside of a Single Image

要約

私たちは、目に見える部分を垣間見るだけで、オブジェクトの隠された次元を明らかにするという、古くからの探求に乗り出します。
そこで今回は、わずか5分で迅速かつ安定した3D生成を実現するフレームワーク「Vista3D」を紹介します。
Vista3D の中心には、粗いフェーズと細かいフェーズという 2 つのフェーズのアプローチがあります。
粗いフェーズでは、単一の画像からガウス スプラッティングを使用して初期ジオメトリを迅速に生成します。
ファイン段階では、学習したガウス スプラッティングから符号付き距離関数 (SDF) を直接抽出し、微分可能な等値面表現で最適化します。
さらに、2 つの独立した暗黙的な関数によるもつれの解けた表現を使用して、オブジェクトの目に見える側面と隠れた側面の両方をキャプチャすることで、生成の品質を向上させます。
さらに、角度拡散プリア合成により、2D 拡散プリアからの勾配を 3D 認識拡散プリアと調和させます。
広範な評価を通じて、Vista3D が生成された 3D オブジェクトの一貫性と多様性の間のバランスを効果的に維持していることを実証しました。
デモとコードは https://github.com/florinshen/Vista3D で入手できます。

要約(オリジナル)

We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google