Birth and Death of a Rose

要約

私たちは、事前にトレーニングされた 2D 基礎モデルから、時間的なオブジェクト固有要素 (開花したバラなど、オブジェクトのジオメトリ、反射率、テクスチャの時間的に進化するシーケンス) を生成する問題を研究します。
多大な手作業と専門知識を必要とする従来の 3D モデリングおよびアニメーション技術とは異なり、事前トレーニングされた 2D 拡散モデルから抽出された信号を使用してそのようなアセットを生成する方法を導入します。
オブジェクト固有の時間的一貫性を確保するために、自己教師あり学習の画像特徴から自動的に導出される、時間状態ガイド型蒸留用のニューラル テンプレートを提案します。
私たちの方法では、いくつかの自然現象に対して高品質の時間オブジェクト固有関数を生成でき、これらの動的オブジェクトを、その存続期間中いつでも、あらゆる視点から、あらゆる環境照明条件下で、サンプリングおよび制御可能なレンダリングが可能になります。
プロジェクトウェブサイト：https://chen-geng.com/rose4d

要約(オリジナル)

We study the problem of generating temporal object intrinsics — temporally evolving sequences of object geometry, reflectance, and texture, such as a blooming rose — from pre-trained 2D foundation models. Unlike conventional 3D modeling and animation techniques that require extensive manual effort and expertise, we introduce a method that generates such assets with signals distilled from pre-trained 2D diffusion models. To ensure the temporal consistency of object intrinsics, we propose Neural Templates for temporal-state-guided distillation, derived automatically from image features from self-supervised learning. Our method can generate high-quality temporal object intrinsics for several natural phenomena and enable the sampling and controllable rendering of these dynamic objects from any viewpoint, under any environmental lighting conditions, at any time of their lifespan. Project website: https://chen-geng.com/rose4d

arxiv情報

提供元, 利用サービス

arxiv.jp, Google