Interspatial Attention for Efficient 4D Human Video Generation

要約

デジタル人間のフォトリアリックなビデオを制御可能な方法で生成することは、多くのアプリケーションにとって重要です。
既存のアプローチは、テンプレートベースの3D表現を採用する方法または新興ビデオ生成モデルを使用するが、個々または複数のデジタル人間を生成する際に品質が低い、または限られた一貫性とアイデンティティの保存に悩まされています。
この論文では、最新の拡散トランス（DIT）ベースのビデオ生成モデルのスケーラブルなビルディングブロックとして、新しい宇宙間注意（ISA）メカニズムを紹介します。
ISAは、人間のビデオの生成に合わせて調整された相対的な位置エンコーディングを使用する新しいタイプのクロス注意です。
カスタム開発されたビデオバリエーションオートエンコーダーを活用して、ビデオデータの大きなコーパスで潜在的なISAベースの拡散モデルをトレーニングします。
私たちのモデルは、4Dヒューマンビデオ統合の最先端のパフォーマンスを実現し、カメラとボディポーズの​​正確な制御を提供しながら、顕著な動きの一貫性とアイデンティティの保存を示しています。
私たちのコードとモデルは、https://dsaurus.github.io/isa4d/で公開されています。

要約(オリジナル)

Generating photorealistic videos of digital humans in a controllable manner is crucial for a plethora of applications. Existing approaches either build on methods that employ template-based 3D representations or emerging video generation models but suffer from poor quality or limited consistency and identity preservation when generating individual or multiple digital humans. In this paper, we introduce a new interspatial attention (ISA) mechanism as a scalable building block for modern diffusion transformer (DiT)–based video generation models. ISA is a new type of cross attention that uses relative positional encodings tailored for the generation of human videos. Leveraging a custom-developed video variation autoencoder, we train a latent ISA-based diffusion model on a large corpus of video data. Our model achieves state-of-the-art performance for 4D human video synthesis, demonstrating remarkable motion consistency and identity preservation while providing precise control of the camera and body poses. Our code and model are publicly released at https://dsaurus.github.io/isa4d/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google