Implicit Warping for Animation with Image Sets

要約

我々は、走行映像の動きの伝達を通じて、ソース画像のセットを用いた画像アニメーションのための新しい暗黙的ワーピングフレームワークを提示する。単一のクロスモーダルな注意層を用いて、ソース画像と運転映像の対応関係を見つけ、異なるソース画像から最適な特徴を選択し、選択した特徴をワーピングする。これは、明示的なフローベースのワーピングを用いる既存の手法とは対照的であり、単一のソースを用いたアニメーション用に設計されているため、複数のソースにうまく拡張できない。本フレームワークは、このような「選ぶ」機能により、単一ソースおよび複数ソースの画像を用いた画像アニメーションにおいて、複数のデータセットで最先端の結果を達成しています。プロジェクトのウェブサイトは、https://deepimagination.cc/implicit warping/ にあります。

要約(オリジナル)

We present a new implicit warping framework for image animation using sets of source images through the transfer of the motion of a driving video. A single cross- modal attention layer is used to find correspondences between the source images and the driving image, choose the most appropriate features from different source images, and warp the selected features. This is in contrast to the existing methods that use explicit flow-based warping, which is designed for animation using a single source and does not extend well to multiple sources. The pick-and-choose capability of our framework helps it achieve state-of-the-art results on multiple datasets for image animation using both single and multiple source images. The project website is available at https://deepimagination.cc/implicit warping/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL