Learning Effective NeRFs and SDFs Representations with 3D Generative Adversarial Networks for 3D Object Generation

要約

ICCV 2023 OmnioBject3D Challengeの3Dオブジェクト生成のソリューションを提示します。
近年、3Dオブジェクトの生成は優れたプロセスを実現し、有望な結果を達成しましたが、複雑でテクスチャ、高忠実度の結果を生成するのが難しいため、困難なタスクのままです。
この問題を解決するために、3Dオブジェクト生成のための3D生成敵対的ネットワーク（GAN）を使用して、効果的なNERFSおよびSDFS表現を学習します。
具体的には、最近の作品に触発されて、効率的なジオメトリ認識3D GANをラベルの埋め込みとカラーマッピングを組み込んだバックボーンとして使用します。これにより、異なる分類法のモデルを同時にトレーニングできます。
次に、デコーダーを介して、結果の特徴を集計して、高忠実度の合成画像をレンダリングするためのニューラル放射輝度フィールド（NERF）ベースの表現を生成します。
一方、署名距離関数（SDF）を最適化して、3Dメッシュを持つオブジェクトを効果的に表現します。
また、このモデルは、オブジェクトごとに多数の画像を使用したり、クラスごとに1つのモデルをトレーニングするのではなく、さまざまなクラスの各オブジェクトの数個の画像で効果的にトレーニングできることがわかります。
このパイプラインを使用すると、3Dオブジェクト生成に効果的なモデルを最適化できます。
このソリューションは、ICCV 2023 Omniobject3D Challengeのトップ3の1つです。

要約(オリジナル)

We present a solution for 3D object generation of ICCV 2023 OmniObject3D Challenge. In recent years, 3D object generation has made great process and achieved promising results, but it remains a challenging task due to the difficulty of generating complex, textured, and high-fidelity results. To resolve this problem, we study learning effective NeRFs and SDFs representations with 3D Generative Adversarial Networks (GANs) for 3D object generation. Specifically, inspired by recent works, we use the efficient geometry-aware 3D GANs as the backbone incorporating with label embedding and color mapping, which enables to train the model on different taxonomies simultaneously. Then, through a decoder, we aggregate the resulting features to generate Neural Radiance Fields (NeRFs) based representations for rendering high-fidelity synthetic images. Meanwhile, we optimize Signed Distance Functions (SDFs) to effectively represent objects with 3D meshes. Besides, we observe that this model can be effectively trained with only a few images of each object from a variety of classes, instead of using a great number of images per object or training one model per class. With this pipeline, we can optimize an effective model for 3D object generation. This solution is among the top 3 in the ICCV 2023 OmniObject3D Challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google