RGM: Reconstructing High-fidelity 3D Car Assets with Relightable 3D-GS Generative Model from a Single Image

要約

高品質の 3D 自動車アセットの生成は、ビデオ ゲーム、自動運転、仮想現実などのさまざまなアプリケーションに不可欠です。
3D オブジェクトの表現として NeRF または 3D-GS を利用する現在の 3D 生成方法では、固定照明の下でランバーシアン オブジェクトを生成し、マテリアルとグローバル イルミネーションの分離されたモデリングが不足しています。
その結果、生成されたアセットは、さまざまな照明条件下での再照明には適さず、下流のタスクでの適用性が制限されます。
この課題に対処するために、私たちは 3D 自動車アセットの作成を自動化し、単一の入力画像から自動車の形状、テクスチャ、および材料特性を迅速かつ正確に再構築できる、新しい再照明可能な 3D オブジェクト生成フレームワークを提案します。
私たちのアプローチは、1,000 を超える高精度 3D 車両モデルで構成される大規模な合成自動車データセットを導入することから始まります。
グローバル イルミネーションと BRDF パラメータと統合された再照明可能な 3D ガウス プリミティブを使用して 3D オブジェクトを表現します。
この表現に基づいて、画像を入力として受け取り、再照明可能な 3D ガウスとグローバル イルミネーション パラメータの両方を出力するフィードフォワード モデルを導入します。
実験結果は、私たちの方法がさまざまな照明を備えた道路シーンにシームレスに統合できるフォトリアリスティックな 3D 自動車アセットを生成し、産業用途に実質的な実用上の利点を提供することを示しています。

要約(オリジナル)

The generation of high-quality 3D car assets is essential for various applications, including video games, autonomous driving, and virtual reality. Current 3D generation methods utilizing NeRF or 3D-GS as representations for 3D objects, generate a Lambertian object under fixed lighting and lack separated modelings for material and global illumination. As a result, the generated assets are unsuitable for relighting under varying lighting conditions, limiting their applicability in downstream tasks. To address this challenge, we propose a novel relightable 3D object generative framework that automates the creation of 3D car assets, enabling the swift and accurate reconstruction of a vehicle’s geometry, texture, and material properties from a single input image. Our approach begins with introducing a large-scale synthetic car dataset comprising over 1,000 high-precision 3D vehicle models. We represent 3D objects using global illumination and relightable 3D Gaussian primitives integrating with BRDF parameters. Building on this representation, we introduce a feed-forward model that takes images as input and outputs both relightable 3D Gaussians and global illumination parameters. Experimental results demonstrate that our method produces photorealistic 3D car assets that can be seamlessly integrated into road scenes with different illuminations, which offers substantial practical benefits for industrial applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google