Animate124: Animating One Image to 4D Dynamic Scene

要約

Animate124 (Animate-one-image-to-4D) を紹介します。これは、テキストによるモーション記述を通じて 1 つの野生の画像を 3D ビデオにアニメーション化する最初の作品であり、重要なアプリケーションではまだ解明されていない問題です。
当社の 4D 生成は、高度な 4D グリッド動的ニューラル放射フィールド (NeRF) モデルを活用しており、複数の拡散事前分布を使用して 3 つの異なる段階で最適化されています。
最初に、静的モデルは、2D および 3D 拡散事前分布に基づいて参照画像を使用して最適化され、動的 NeRF の初期化として機能します。
続いて、ビデオ拡散モデルを利用して被写体特有の動きを学習します。
ただし、3D ビデオ内のオブジェクトは、時間の経過とともに参照画像から離れていく傾向があります。
このドリフトは主に、ビデオ拡散モデル内のテキスト プロンプトと参照画像間の不整合が原因です。
したがって、最終段階では、セマンティック ドリフトに対処するためにパーソナライズされた拡散事前処理が利用されます。
先駆的な画像テキストから 4D への生成フレームワークとして、私たちの方法は、包括的な定量的および定性的評価によって証明されているように、既存のベースラインを超える大幅な進歩を示しています。

要約(オリジナル)

We introduce Animate124 (Animate-one-image-to-4D), the first work to animate a single in-the-wild image into 3D video through textual motion descriptions, an underexplored problem with significant applications. Our 4D generation leverages an advanced 4D grid dynamic Neural Radiance Field (NeRF) model, optimized in three distinct stages using multiple diffusion priors. Initially, a static model is optimized using the reference image, guided by 2D and 3D diffusion priors, which serves as the initialization for the dynamic NeRF. Subsequently, a video diffusion model is employed to learn the motion specific to the subject. However, the object in the 3D videos tends to drift away from the reference image over time. This drift is mainly due to the misalignment between the text prompt and the reference image in the video diffusion model. In the final stage, a personalized diffusion prior is therefore utilized to address the semantic drift. As the pioneering image-text-to-4D generation framework, our method demonstrates significant advancements over existing baselines, evidenced by comprehensive quantitative and qualitative assessments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google