Bidirectionally Deformable Motion Modulation For Video-based Human Pose Transfer

要約

ビデオベースの人間のポーズ転送は、一連のターゲットの人間のポーズに基づいて単純なソース人間の画像をアニメーション化する、ビデオ間の生成タスクです。
衣服上の高度に構造的なパターンや不連続なポーズを転写することの難しさを考慮すると、既存の方法では、テクスチャの歪みやアーティファクトのちらつきなど、満足のいく結果が得られないことがよくあります。
これらの問題に対処するために、適応重み変調を備えた幾何学的なカーネル オフセットを利用して、特徴の位置合わせとスタイルの転送を同時に実行する新しい変形可能モーション変調 (DMM) を提案します。
スタイル転送で使用される通常のスタイル変調とは異なり、提案された変調メカニズムは、不規則な受容視野を通じてオブジェクトの形状に従ってスタイルコードから平滑化されたフレームを適応的に再構築します。
時空間の一貫性を高めるために、双方向伝播を利用して、ノイズの多いポーズによって生成された歪んだ画像シーケンスから隠れた動き情報を抽出します。
提案された特徴伝播は、順方向および逆方向の伝播によって動き予測能力を大幅に強化します。
定量的および定性的な実験結果はいずれも、画像の忠実性と視覚的連続性の点で最先端のものよりも優れていることを示しています。
ソース コードは github.com/rocketappslab/bdmm で公開されています。

要約(オリジナル)

Video-based human pose transfer is a video-to-video generation task that animates a plain source human image based on a series of target human poses. Considering the difficulties in transferring highly structural patterns on the garments and discontinuous poses, existing methods often generate unsatisfactory results such as distorted textures and flickering artifacts. To address these issues, we propose a novel Deformable Motion Modulation (DMM) that utilizes geometric kernel offset with adaptive weight modulation to simultaneously perform feature alignment and style transfer. Different from normal style modulation used in style transfer, the proposed modulation mechanism adaptively reconstructs smoothed frames from style codes according to the object shape through an irregular receptive field of view. To enhance the spatio-temporal consistency, we leverage bidirectional propagation to extract the hidden motion information from a warped image sequence generated by noisy poses. The proposed feature propagation significantly enhances the motion prediction ability by forward and backward propagation. Both quantitative and qualitative experimental results demonstrate superiority over the state-of-the-arts in terms of image fidelity and visual continuity. The source code is publicly available at github.com/rocketappslab/bdmm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google