Deep Generative Models on 3D Representations: A Survey

要約

生成モデルは、統計モデリングの重要なファミリーであり、新しいインスタンスを生成することにより、観測されたデータ分布を学習することを目的としています。
ニューラル ネットワークの台頭に伴い、変分オートエンコーダー (VAE) や敵対的生成ネットワーク (GAN) などの深い生成モデルは、2D 画像合成において大きな進歩を遂げました。
最近、研究者は 2D 空間から 3D 空間に注意を向けるようになりました。これは、3D データが私たちの物理的な世界とよりよく調和しているため、実際に大きな可能性を享受できるためです。
ただし、本質的に効率的な表現 (つまり、ピクセル グリッド) を所有する 2D 画像とは異なり、3D データの表現ははるかに多くの課題に直面する可能性があります。
具体的には、理想的な 3D 表現には、形状や外観を詳細にモデル化するのに十分な能力があり、高速かつ低メモリ コストで高解像度データをモデル化できるように非常に効率的であることが期待されます。
ただし、点群、メッシュ、最近のニューラル フィールドなどの既存の 3D 表現は、通常、上記の要件を同時に満たすことができません。
この調査では、アルゴリズムとより重要な表現の両方の観点から、3D 形状の生成と 3D を意識した画像合成を含む 3D 生成の開発を徹底的にレビューします。
私たちの議論が、コミュニティがこの分野の進化を追跡し、この困難なタスクを進めるための革新的なアイデアをさらに刺激するのに役立つことを願っています.

要約(オリジナル)

Generative models, as an important family of statistical modeling, target learning the observed data distribution via generating new instances. Along with the rise of neural networks, deep generative models, such as variational autoencoders (VAEs) and generative adversarial network (GANs), have made tremendous progress in 2D image synthesis. Recently, researchers switch their attentions from the 2D space to the 3D space considering that 3D data better aligns with our physical world and hence enjoys great potential in practice. However, unlike a 2D image, which owns an efficient representation (i.e., pixel grid) by nature, representing 3D data could face far more challenges. Concretely, we would expect an ideal 3D representation to be capable enough to model shapes and appearances in details, and to be highly efficient so as to model high-resolution data with fast speed and low memory cost. However, existing 3D representations, such as point clouds, meshes, and recent neural fields, usually fail to meet the above requirements simultaneously. In this survey, we make a thorough review of the development of 3D generation, including 3D shape generation and 3D-aware image synthesis, from the perspectives of both algorithms and more importantly representations. We hope that our discussion could help the community track the evolution of this field and further spark some innovative ideas to advance this challenging task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google