Continuous Piecewise-Affine Based Motion Model for Image Animation

要約

イメージアニメーションは、走行ビデオに応じて静止画像に命を吹き込み、アニメーション、エンターテイメント、教育などのさまざまな目的で使用できる魅力的なビジュアルコンテンツを作成することを目的としています。
最近の教師なし手法では、キーポイントに基づくアフィン変換と薄板スプライン変換を利用して、駆動フレームの動きをソース イメージに転送します。
ただし、使用される変換の表現力によって制限されるため、駆動フレーム内の動きとソース画像の間のギャップが大きい場合、これらの方法では常に悪い結果が生じます。
この問題に対処するために、我々は、ソース画像から駆動フレームまでの動きを、表現力の高い微分同相写像空間でモデル化することを提案します。
まず、動きをモデル化するために連続区分的アフィンベース (CPAB) 変換を導入し、制御キーポイントから CPAB 変換を生成する適切に設計された推論アルゴリズムを提示します。
次に、キーポイント抽出プロセスをさらに制約し、ソース画像と駆動画像上の対応するキーポイント間の意味的一貫性を向上させるために、SAM ガイドによるキーポイントの意味的損失を提案します。
最後に、運転画像と生成された画像から抽出された構造関連の特徴を位置合わせするための構造位置合わせ損失を設計します。これにより、ジェネレータが運転動作とより一貫した結果を生成できるようになります。
4 つのデータセットに対する広範な実験により、最先端の競合他社に対する当社の手法の有効性が定量的および定性的に実証されました。
コードは https://github.com/DevilPG/AAAI2024-CPABMM で公開されます。

要約(オリジナル)

Image animation aims to bring static images to life according to driving videos and create engaging visual content that can be used for various purposes such as animation, entertainment, and education. Recent unsupervised methods utilize affine and thin-plate spline transformations based on keypoints to transfer the motion in driving frames to the source image. However, limited by the expressive power of the transformations used, these methods always produce poor results when the gap between the motion in the driving frame and the source image is large. To address this issue, we propose to model motion from the source image to the driving frame in highly-expressive diffeomorphism spaces. Firstly, we introduce Continuous Piecewise-Affine based (CPAB) transformation to model the motion and present a well-designed inference algorithm to generate CPAB transformation from control keypoints. Secondly, we propose a SAM-guided keypoint semantic loss to further constrain the keypoint extraction process and improve the semantic consistency between the corresponding keypoints on the source and driving images. Finally, we design a structure alignment loss to align the structure-related features extracted from driving and generated images, thus helping the generator generate results that are more consistent with the driving action. Extensive experiments on four datasets demonstrate the effectiveness of our method against state-of-the-art competitors quantitatively and qualitatively. Code will be publicly available at: https://github.com/DevilPG/AAAI2024-CPABMM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google