Free-viewpoint Human Animation with Pose-correlated Reference Selection

要約

拡散ベースのヒューマン アニメーションは、ソースの人間のイメージと一連のポーズなどの駆動信号に基づいて人間のキャラクターをアニメーション化することを目的としています。
拡散モデルの生成能力を活用することで、既存のアプローチは忠実度の高いポーズを生成できますが、特にカメラとキャラクターの距離が変化するズームイン/ズームアウトのシナリオでは、視点の大幅な変更に苦労します。
これにより、映画のようなショット タイプ プランやカメラ制御などのアプリケーションが制限されます。
我々は、人間のアニメーションにおける実質的な視点の変化をサポートする、ポーズ相関参照選択拡散ネットワークを提案します。
私たちの重要なアイデアは、視点を大幅に変更すると人体の外観の詳細が失われることが多いため、ネットワークが複数の参照画像を入力として利用できるようにすることです。
計算コストを削減するために、まず新しいポーズ相関モジュールを導入して、位置合わせされていないターゲットとソースのポーズ間の類似性を計算します。次に、アテンション マップを利用してアニメーション生成の主要な領域を特定する、適応的な参照選択戦略を提案します。
モデルをトレーニングするために、同じ登場人物のさまざまなショットをフィーチャーした公開 TED トークから大規模なデータセットを厳選し、モデルがさまざまな視点の合成を学習できるようにしました。
私たちの実験結果は、同じ数の参照画像を使用すると、大きな視点変更の下で現在の SOTA 手法と比較して、モデルが有利に動作することを示しています。
さらに、適応参照選択により、自由な視点の下で人間を生成するために最も適切な参照領域を選択できることを示します。

要約(オリジナル)

Diffusion-based human animation aims to animate a human character based on a source human image as well as driving signals such as a sequence of poses. Leveraging the generative capacity of diffusion model, existing approaches are able to generate high-fidelity poses, but struggle with significant viewpoint changes, especially in zoom-in/zoom-out scenarios where camera-character distance varies. This limits the applications such as cinematic shot type plan or camera control. We propose a pose-correlated reference selection diffusion network, supporting substantial viewpoint variations in human animation. Our key idea is to enable the network to utilize multiple reference images as input, since significant viewpoint changes often lead to missing appearance details on the human body. To eliminate the computational cost, we first introduce a novel pose correlation module to compute similarities between non-aligned target and source poses, and then propose an adaptive reference selection strategy, utilizing the attention map to identify key regions for animation generation. To train our model, we curated a large dataset from public TED talks featuring varied shots of the same character, helping the model learn synthesis for different perspectives. Our experimental results show that with the same number of reference images, our model performs favorably compared to the current SOTA methods under large viewpoint change. We further show that the adaptive reference selection is able to choose the most relevant reference regions to generate humans under free viewpoints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google