要約
生成的人工知能は、近年、複数のドメインにわたって顕著な進歩を目撃しています。
2Dおよび3Dコンテンツ生成の成功に基づいて、一時的な次元を生成タスクに組み込んだ4D Generationは、急成長しているが急速に進化する研究分野として浮上しています。
このペーパーでは、この新しい分野の包括的な調査を提示し、その理論的基礎、主要な方法論、および実用的なアプリケーションを体系的に調査し、4D世代の現在の状態と将来の可能性についての全体的な理解を読者に提供することを目的としています。
まず、構造化された形式と非構造化された形式の両方を含む4Dデータ表現のコア概念を導入し、生成タスクへの影響を紹介します。
この基盤の上に構築された私たちは、時空間モデリング、神経表現、生成フレームワークの進歩を含む、4D世代を駆動する有効化技術を掘り下げます。
さらに、4D出力を生成し、これらのアプローチを分類し、研究の軌跡を要約するための多様な制御メカニズムと表現戦略を採用した最近の研究をさらにレビューします。
さらに、ダイナミックオブジェクトモデリング、シーン生成、デジタルヒト合成、4Dコンテンツ編集、自律運転にまたがる4D生成技術の幅広いアプリケーションを探ります。
最後に、データの可用性、計算効率、空間的一貫性など、4D世代に固有の重要な課題を分析し、将来の研究のための有望な方向性を提案します。
私たちのコードは、\ href {https://github.com/miaoqiaowei/awesome-4d} {https://github.com/miaoqiaowei/awesome-4dで公開されています。
要約(オリジナル)
Generative artificial intelligence has witnessed remarkable advancements across multiple domains in recent years. Building on the successes of 2D and 3D content generation, 4D generation, which incorporates the temporal dimension into generative tasks, has emerged as a burgeoning yet rapidly evolving research area. This paper presents a comprehensive survey of this emerging field, systematically examining its theoretical foundations, key methodologies, and practical applications, with the aim of providing readers with a holistic understanding of the current state and future potential of 4D generation. We begin by introducing the core concepts of 4D data representations, encompassing both structured and unstructured formats, and their implications for generative tasks. Building upon this foundation, we delve into the enabling technologies that drive 4D generation, including advancements in spatiotemporal modeling, neural representations, and generative frameworks. We further review recent studies that employ diverse control mechanisms and representation strategies for generating 4D outputs, categorizing these approaches and summarizing their research trajectories. In addition, we explore the wide-ranging applications of 4D generation techniques, spanning dynamic object modeling, scene generation, digital human synthesis, 4D content editing, and autonomous driving. Finally, we analyze the key challenges inherent to 4D generation, such as data availability, computational efficiency, and spatiotemporal consistency, and propose promising directions for future research. Our code is publicly available at: \href{https://github.com/MiaoQiaowei/Awesome-4D}{https://github.com/MiaoQiaowei/Awesome-4D}.
arxiv情報
| 著者 | Qiaowei Miao,Kehan Li,Jinsheng Quan,Zhiyuan Min,Shaojie Ma,Yichao Xu,Yi Yang,Yawei Luo |
| 発行日 | 2025-03-18 17:59:51+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google