A Survey on 3D Human Avatar Modeling — From Reconstruction to Generation

要約

3D モデリングは、長い間、コンピューター ビジョンおよびコンピューター グラフィックスにおいて重要な分野でした。
最近、ニューラル表現と生成モデルの進歩のおかげで、3D モデリングの急速な発展を目の当たりにしました。
3D ヒューマン モデリングは、ゲームやアニメーションなど、多くの実世界のアプリケーションの中核を成しており、大きな注目を集めています。
過去数年にわたって、3D ヒューマン アバターの作成に関する大量の作業が導入され、3D ヒューマン モデリングのための新しく豊富な知識ベースが形成されました。
文献の規模が大きいため、個人がすべての作品を追跡することは困難です。
この調査は、再構築と生成の両方の観点から、3D ヒューマン アバター モデリングのこれらの新しい技術の包括的な概要を提供することを目的としています。
まず、ピクセル整列陰関数、神経放射場、3D ガウス スプラッティングなどに基づく方法を含む、3D 人間再構成の代表的な方法を確認します。次に、3D 人間生成の代表的な方法、特に CLIP のような大規模な言語モデルを使用する方法を要約します。
、拡散モデル、最先端のパフォーマンスを発揮するさまざまな 3D 表現。
最後に、既存の手法についての考察と 3D ヒューマン アバター モデリングの未解決の課題について説明し、将来の研究に光を当てます。

要約(オリジナル)

3D modeling has long been an important area in computer vision and computer graphics. Recently, thanks to the breakthroughs in neural representations and generative models, we witnessed a rapid development of 3D modeling. 3D human modeling, lying at the core of many real-world applications, such as gaming and animation, has attracted significant attention. Over the past few years, a large body of work on creating 3D human avatars has been introduced, forming a new and abundant knowledge base for 3D human modeling. The scale of the literature makes it difficult for individuals to keep track of all the works. This survey aims to provide a comprehensive overview of these emerging techniques for 3D human avatar modeling, from both reconstruction and generation perspectives. Firstly, we review representative methods for 3D human reconstruction, including methods based on pixel-aligned implicit function, neural radiance field, and 3D Gaussian Splatting, etc. We then summarize representative methods for 3D human generation, especially those using large language models like CLIP, diffusion models, and various 3D representations, which demonstrate state-of-the-art performance. Finally, we discuss our reflection on existing methods and open challenges for 3D human avatar modeling, shedding light on future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google