Spectral Motion Alignment for Video Motion Transfer using Diffusion Models

要約

拡散モデルの進化は、ビデオの生成と理解に大きな影響を与えました。
特に、テキストからビデオへの拡散モデル (VDM) により、ターゲットの外観、モーションなどによる入力ビデオのカスタマイズが大幅に容易になりました。これらの進歩にも関わらず、ビデオ フレームからモーション情報を正確に抽出することには課題が残っています。
既存の作品はターゲット モーション ベクトルとして連続フレーム残差を活用していますが、本質的にグローバル モーション コンテキストが欠如しており、フレーム単位の歪みに対して脆弱です。
これに対処するために、フーリエ変換とウェーブレット変換を使用して動きベクトルを調整および調整する新しいフレームワークであるスペクトル モーション アライメント (SMA) を紹介します。
SMA は、周波数領域の正則化を組み込むことでモーション パターンを学習し、フレーム全体のグローバル モーション ダイナミクスの学習を促進し、空間アーティファクトを軽減します。
広範な実験により、計算効率とさまざまなビデオ カスタマイズ フレームワーク間での互換性を維持しながら、モーション転送を改善する SMA の有効性が実証されています。

要約(オリジナル)

The evolution of diffusion models has greatly impacted video generation and understanding. Particularly, text-to-video diffusion models (VDMs) have significantly facilitated the customization of input video with target appearance, motion, etc. Despite these advances, challenges persist in accurately distilling motion information from video frames. While existing works leverage the consecutive frame residual as the target motion vector, they inherently lack global motion context and are vulnerable to frame-wise distortions. To address this, we present Spectral Motion Alignment (SMA), a novel framework that refines and aligns motion vectors using Fourier and wavelet transforms. SMA learns motion patterns by incorporating frequency-domain regularization, facilitating the learning of whole-frame global motion dynamics, and mitigating spatial artifacts. Extensive experiments demonstrate SMA’s efficacy in improving motion transfer while maintaining computational efficiency and compatibility across various video customization frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google