Direct May Not Be the Best: An Incremental Evolution View of Pose Generation

要約

ポーズの多様性は、2D 画像に固有の代表的な特性です。
3D から 2D への投影メカニズムにより、個別のポーズ画像間には明らかなコンテンツの不一致が存在します。
これは、ポーズ変換関連の研究を悩ませる主な障害です。
この課題に対処するために、従来の急いで直接 1 対 1 で行うのではなく、きめの細かい増分進化を中心としたポーズ生成フレームワークを提案します。
提案されたアプローチは、劇的な非線形変化を直接モデル化するという理論上の困難を実際に回避するため、発生するコンテンツの歪みやぼやけを効果的に抑制することができ、同時に、さまざまな個々のポーズの詳細、特に衣服のテクスチャを正確に維持することができます。
進化の過程を体系的に導くために、全体的な進化の制約と漸進的な進化の制約の両方が精巧に設計され、全体のフレームワークに統合されます。
そして、利用可能なすべての貴重な知識を最大限に活用して高品質のポーズ合成を行うために、新しいトリプルパス知識融合構造が考案されました。
さらに、私たちのフレームワークは、一連の貴重な副産物、つまりさまざまな中間ポーズを生成する可能性があります。
提案されたアプローチの有効性を検証するために、広範な実験が行われました。
コードは https://github.com/Xiaofei-CN/Incremental-Evolution-Pose-Generation で入手できます。

要約(オリジナル)

Pose diversity is an inherent representative characteristic of 2D images. Due to the 3D to 2D projection mechanism, there is evident content discrepancy among distinct pose images. This is the main obstacle bothering pose transformation related researches. To deal with this challenge, we propose a fine-grained incremental evolution centered pose generation framework, rather than traditional direct one-to-one in a rush. Since proposed approach actually bypasses the theoretical difficulty of directly modeling dramatic non-linear variation, the incurred content distortion and blurring could be effectively constrained, at the same time the various individual pose details, especially clothes texture, could be precisely maintained. In order to systematically guide the evolution course, both global and incremental evolution constraints are elaborately designed and merged into the overall frame?work. And a novel triple-path knowledge fusion structure is worked out to take full advantage of all available valuable knowledge to conduct high-quality pose synthesis. In addition, our framework could generate a series of valuable byproducts, namely the various intermediate poses. Extensive experiments have been conducted to verify the effectiveness of the proposed approach. Code is available at https://github.com/Xiaofei-CN/Incremental-Evolution-Pose-Generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google