FlexiAct: Towards Flexible Action Control in Heterogeneous Scenarios

要約

アクションカスタマイズには、被験者が入力制御信号によって決定されるアクションを実行するビデオを生成することが含まれます。
現在の方法では、ポーズガイドまたはグローバルモーションのカスタマイズを使用しますが、レイアウト、スケルトン、視点の一貫性などの空間構造に対する厳格な制約により制限され、多様な主題やシナリオにわたる適応性が低下します。
これらの制限を克服するために、参照ビデオから任意のターゲット画像にアクションを転送するFlexiactを提案します。
既存の方法とは異なり、Flexiactは、アイデンティティの一貫性を維持しながら、参照ビデオの主題とターゲット画像の対象との間のレイアウト、視点、および骨格構造のバリエーションを可能にします。
これを達成するには、正確なアクション制御、空間構造の適応、および一貫性の保存が必要です。
この目的のために、外観の一貫性と構造的柔軟性のバランスをとる既存の方法を上回り、空間的適応と一貫性の保存に優れた軽量の画像条件付けされたアダプターであるリファダプターを紹介します。
さらに、観察に基づいて、除去プロセスは、さまざまなタイムステップでの動き（低周波数）と外観の詳細（高頻度）にさまざまなレベルの注意レベルを示します。
したがって、FAE（周波数対応アクション抽出）を提案します。これは、個別の空間的アーキテクチャに依存する既存の方法とは異なり、除去プロセス中にアクション抽出を直接実現します。
実験は、私たちの方法が、さまざまなレイアウト、スケルトン、視点を持つ被験者にアクションを効果的に転送することを示しています。
コードとモデルの重みをリリースして、https://shiyi-zh0408.github.io/projectpages/flexiact/でさらなる調査をサポートします

要約(オリジナル)

Action customization involves generating videos where the subject performs actions dictated by input control signals. Current methods use pose-guided or global motion customization but are limited by strict constraints on spatial structure, such as layout, skeleton, and viewpoint consistency, reducing adaptability across diverse subjects and scenarios. To overcome these limitations, we propose FlexiAct, which transfers actions from a reference video to an arbitrary target image. Unlike existing methods, FlexiAct allows for variations in layout, viewpoint, and skeletal structure between the subject of the reference video and the target image, while maintaining identity consistency. Achieving this requires precise action control, spatial structure adaptation, and consistency preservation. To this end, we introduce RefAdapter, a lightweight image-conditioned adapter that excels in spatial adaptation and consistency preservation, surpassing existing methods in balancing appearance consistency and structural flexibility. Additionally, based on our observations, the denoising process exhibits varying levels of attention to motion (low frequency) and appearance details (high frequency) at different timesteps. So we propose FAE (Frequency-aware Action Extraction), which, unlike existing methods that rely on separate spatial-temporal architectures, directly achieves action extraction during the denoising process. Experiments demonstrate that our method effectively transfers actions to subjects with diverse layouts, skeletons, and viewpoints. We release our code and model weights to support further research at https://shiyi-zh0408.github.io/projectpages/FlexiAct/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google