Generative Image Dynamics

要約

シーンモーションの画像空間事前分布をモデル化するアプローチを紹介する。我々の事前学習は、木、花、ろうそく、風に揺れる衣服など、自然で振動的なダイナミクスを描写する実際のビデオシーケンスから抽出された動きの軌跡のコレクションから学習される。この高密度で長期的な動きの事前分布をフーリエ領域でモデル化する。1つの画像が与えられると、学習されたモデルは周波数に調整された拡散サンプリングプロセスを使ってスペクトルボリュームを予測し、これをビデオ全体にまたがる動きのテクスチャに変換することができる。画像ベースのレンダリングモジュールとともに、これらの軌跡は、静止画像をシームレスにループする動画に変換したり、オブジェクトのダイナミクスを近似する画像空間のモーダルベースとしてスペクトルボリュームを解釈することにより、ユーザが実画像のオブジェクトとリアルにインタラクションできるようにするなど、多くの下流アプリケーションに使用することができる。

要約(オリジナル)

We present an approach to modeling an image-space prior on scene motion. Our prior is learned from a collection of motion trajectories extracted from real video sequences depicting natural, oscillatory dynamics such as trees, flowers, candles, and clothes swaying in the wind. We model this dense, long-term motion prior in the Fourier domain:given a single image, our trained model uses a frequency-coordinated diffusion sampling process to predict a spectral volume, which can be converted into a motion texture that spans an entire video. Along with an image-based rendering module, these trajectories can be used for a number of downstream applications, such as turning still images into seamlessly looping videos, or allowing users to realistically interact with objects in real pictures by interpreting the spectral volumes as image-space modal bases, which approximate object dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL