Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models

要約

画像から 3D への生成が大幅に進歩したにもかかわらず、既存の方法は、特に 3D 認識が欠如した 2D 拡散のパラダイムにおいて、高解像度のテクスチャを詳細に含むマルチビューの一貫した画像を生成するのに依然として苦労しています。
この研究では、単一の画像を 3D 対応の連続画像生成 (つまり、軌道ビデオ生成) として再定義する、新しいビデオ拡散ベースのパラダイムである高解像度画像から 3D モデル (Hi3D) を紹介します。
この方法論は、ビデオ拡散モデルの基礎となる時間的一貫性の知識を掘り下げ、3D 生成における複数のビューにわたるジオメトリの一貫性をうまく一般化します。
技術的には、Hi3D はまず、事前トレーニングされたビデオ拡散モデルに 3D 対応の事前設定 (カメラのポーズ条件) を適用し、低解像度のテクスチャの詳細を含むマルチビュー画像を生成します。
3D 対応のビデオ間リファイナーは、高解像度のテクスチャの詳細を含むマルチビュー画像をさらにスケールアップするために学習されます。
このような高解像度のマルチビュー画像は、3D ガウス スプラッティングを通じて新しいビューでさらに強化され、最終的には 3D 再構成によって高忠実度のメッシュを取得するために利用されます。
新しいビューの合成と単一ビューの再構成の両方に関する広範な実験により、当社の Hi3D が非​​常に詳細なテクスチャを備えた優れたマルチビューの一貫性のある画像を生成できることが実証されました。
ソース コードとデータは \url{https://github.com/yanghb22-fdu/Hi3D-Official} で入手できます。

要約(オリジナル)

Despite having tremendous progress in image-to-3D generation, existing methods still struggle to produce multi-view consistent images with high-resolution textures in detail, especially in the paradigm of 2D diffusion that lacks 3D awareness. In this work, we present High-resolution Image-to-3D model (Hi3D), a new video diffusion based paradigm that redefines a single image to multi-view images as 3D-aware sequential image generation (i.e., orbital video generation). This methodology delves into the underlying temporal consistency knowledge in video diffusion model that generalizes well to geometry consistency across multiple views in 3D generation. Technically, Hi3D first empowers the pre-trained video diffusion model with 3D-aware prior (camera pose condition), yielding multi-view images with low-resolution texture details. A 3D-aware video-to-video refiner is learnt to further scale up the multi-view images with high-resolution texture details. Such high-resolution multi-view images are further augmented with novel views through 3D Gaussian Splatting, which are finally leveraged to obtain high-fidelity meshes via 3D reconstruction. Extensive experiments on both novel view synthesis and single view reconstruction demonstrate that our Hi3D manages to produce superior multi-view consistency images with highly-detailed textures. Source code and data are available at \url{https://github.com/yanghb22-fdu/Hi3D-Official}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google