One-Shot Stylization for Full-Body Human Images

要約

タイトル：単発スタイリゼーションによる全身人物画像のスタイリング

要約：

– 人物のスタイリングの目的は、アートのキャラクター参照画像によって指定されたスタイルに、全身人物の写真を転送することです。
– 以前の研究は、顔や一般的な場面の例ベースのスタイリゼーションに成功してきましたが、全身人物のスタイリゼーションはより複雑なドメインです。
– この研究では、全身人物画像のスタイリングのいくつかの独自の課題に取り組んでいます。
– 私たちは、ポーズガイドされた人物ジェネレーターの単発微調整のための方法を提案しています。これにより、入力写真の「コンテンツ」（衣服、顔、髪、ポーズ）と芸術的な参照の「スタイル」を保持できます。
– 人物の形状変形はアートキャラクターのスタイルの重要なコンポーネントであるため、私たちは新しい骨格変形モジュールを取り入れ、入力人物のポーズを再形成し、DiOrポーズガイド人物ジェネレーターをより耐久性のあるものに変更しました。
– いくつかの人間の研究により、私たちのアプローチの効果が確認されました。

要約(オリジナル)

The goal of human stylization is to transfer full-body human photos to a style specified by a single art character reference image. Although previous work has succeeded in example-based stylization of faces and generic scenes, full-body human stylization is a more complex domain. This work addresses several unique challenges of stylizing full-body human images. We propose a method for one-shot fine-tuning of a pose-guided human generator to preserve the ‘content’ (garments, face, hair, pose) of the input photo and the ‘style’ of the artistic reference. Since body shape deformation is an essential component of an art character’s style, we incorporate a novel skeleton deformation module to reshape the pose of the input person and modify the DiOr pose-guided person generator to be more robust to the rescaled poses falling outside the distribution of the realistic poses that the generator is originally trained on. Several human studies verify the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI