Advances in 3D Neural Stylization: A Survey

要約

現代の人工知能は、画像、ビデオ、3D データなどの多様なスタイルやモダリティでデジタル アートを作成するための斬新で革新的なアプローチを提供し、創造力を解き放ち、ビジュアル コンテンツの認識と操作方法に革命をもたらします。
この論文では、ニューラル ネットワークの表現力を利用した様式化された 3D アセットの作成と操作における最近の進歩について報告します。
シーン表現、ガイダンス データ、最適化戦略、出力スタイルなどの重要な設計上の選択を考慮して、ニューラル スタイライゼーションの分類法を確立します。
このような分類法に基づいて、私たちの調査ではまず 2D 画像上のニューラル スタイライゼーションの背景を再検討し、次に 3D データの最近のニューラル スタイライゼーション手法に関する詳細な議論を、選択されたメッシュおよびニューラル フィールド スタイライゼーション手法を評価するベンチマークとともに提示します。
調査から得られた洞察に基づいて、ニューラル スタイル化の実際的な重要性、未解決の課題、将来の研究、および潜在的な影響を強調します。これにより、研究者や実務者が現代の人工知能を使用して急速に進化する 3D コンテンツ作成の状況をナビゲートすることが容易になります。

要約(オリジナル)

Modern artificial intelligence offers a novel and transformative approach to creating digital art across diverse styles and modalities like images, videos and 3D data, unleashing the power of creativity and revolutionizing the way that we perceive and interact with visual content. This paper reports on recent advances in stylized 3D asset creation and manipulation with the expressive power of neural networks. We establish a taxonomy for neural stylization, considering crucial design choices such as scene representation, guidance data, optimization strategies, and output styles. Building on such taxonomy, our survey first revisits the background of neural stylization on 2D images, and then presents in-depth discussions on recent neural stylization methods for 3D data, accompanied by a benchmark evaluating selected mesh and neural field stylization methods. Based on the insights gained from the survey, we highlight the practical significance, open challenges, future research, and potential impacts of neural stylization, which facilitates researchers and practitioners to navigate the rapidly evolving landscape of 3D content creation using modern artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google