Generative Image Dynamics

要約

シーンのダイナミクスに先立って画像空間をモデル化するアプローチを紹介します。
私たちの事前予測は、風になびく木、花、ろうそく、衣服などの自然な振動運動を含む実際のビデオ シーケンスから抽出された一連の運動軌跡から学習されます。
単一の画像が与えられた場合、トレーニング済みモデルは周波数調整拡散サンプリング プロセスを使用して、フーリエ領域でのピクセルごとの長期モーション表現を予測します。これをニューラル確率的モーション テクスチャと呼びます。
この表現は、ビデオ全体にわたる高密度のモーション軌跡に変換できます。
これらの軌跡は、画像ベースのレンダリング モジュールと併せて、静止画像をシームレスにループする動的なビデオに変換したり、ユーザーが実際の画像内のオブジェクトをリアルに操作できるようにしたりするなど、多くの下流アプリケーションに使用できます。

要約(オリジナル)

We present an approach to modeling an image-space prior on scene dynamics. Our prior is learned from a collection of motion trajectories extracted from real video sequences containing natural, oscillating motion such as trees, flowers, candles, and clothes blowing in the wind. Given a single image, our trained model uses a frequency-coordinated diffusion sampling process to predict a per-pixel long-term motion representation in the Fourier domain, which we call a neural stochastic motion texture. This representation can be converted into dense motion trajectories that span an entire video. Along with an image-based rendering module, these trajectories can be used for a number of downstream applications, such as turning still images into seamlessly looping dynamic videos, or allowing users to realistically interact with objects in real pictures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google