HunyuanPortrait: Implicit Condition Control for Enhanced Portrait Animation

要約

Hunyuanportraitを紹介します。これは、非常に制御可能でリアルなポートレートアニメーションに暗黙の表現を使用する拡散ベースの条件制御方法です。
外観の参照としての単一のポートレート画像とドライビングテンプレートとしてのビデオクリップを考えると、Hunyuanportraitは、運転ビデオの表情とヘッドポーズによって参照画像のキャラクターをアニメーション化できます。
私たちのフレームワークでは、事前に訓練されたエンコーダーを利用して、ビデオでポートレートモーション情報とアイデンティティのデカップリングを実現します。
そのためには、暗黙の表現がモーション情報をエンコードするために採用され、アニメーションフェーズの制御信号として採用されます。
主要なビルディングブロックとして安定したビデオ拡散の力を活用することにより、注意メカニズムを介して除去UNETに制御信号を注入するようにアダプターレイヤーを慎重に設計します。
これらは、詳細の空間的豊かさと時間的一貫性をもたらします。
Hunyuanportraitは、強力な一般化パフォーマンスも示しており、異なる画像スタイルの下で外観と動きを効果的に解き放つことができます。
私たちのフレームワークは、既存の方法を上回り、優れた時間的一貫性と制御可能性を示しています。
当社のプロジェクトは、https：//kkkkkka.github.io/hunyuanportraitで入手できます。

要約(オリジナル)

We introduce HunyuanPortrait, a diffusion-based condition control method that employs implicit representations for highly controllable and lifelike portrait animation. Given a single portrait image as an appearance reference and video clips as driving templates, HunyuanPortrait can animate the character in the reference image by the facial expression and head pose of the driving videos. In our framework, we utilize pre-trained encoders to achieve the decoupling of portrait motion information and identity in videos. To do so, implicit representation is adopted to encode motion information and is employed as control signals in the animation phase. By leveraging the power of stable video diffusion as the main building block, we carefully design adapter layers to inject control signals into the denoising unet through attention mechanisms. These bring spatial richness of details and temporal consistency. HunyuanPortrait also exhibits strong generalization performance, which can effectively disentangle appearance and motion under different image styles. Our framework outperforms existing methods, demonstrating superior temporal consistency and controllability. Our project is available at https://kkakkkka.github.io/HunyuanPortrait.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google