Region-Aware Portrait Retouching with Sparse Interactive Guidance

要約

タイトル – Region-Aware Portrait Retouching with Sparse Interactive Guidance
要約 –
– ポートレートのリタッチは、美的な質を向上させる目的を持っており、特に人物領域に優先度が必要です。
– 深層学習ベースの方法は、リタッチ効率を大幅に向上させ、有望なリタッチ結果を提供します。
– しかし、既存のポートレートリタッチ方法は、すべての人間領域を等しく扱い、特定の個人に対するユーザーの選好を無視する自動リタッチに焦点を当てており、インタラクティブなシナリオでの限られた柔軟性に苦しんでいます。
– 本研究では、ユーザーの意図の重要性を強調し、インタラクティブなポートレートリタッチタスクを探求しています。
– 具体的には、自動分岐とインタラクティブ分岐の2つの枝を持つ領域重視のリタッチフレームワークを提案しています。
– 自動分岐はエンコード-デコードプロセスを含み、領域候補を検索してユーザーガイドなしで自動領域重視リタッチを実行します。
– インタラクティブな分岐は、希薄なユーザーガイダンスを優先条件ベクトルにエンコードし、領域選択モジュールで潜在特徴を調整して、さらにユーザー指定の領域を強調します。
– 実験的な結果は、岐路効果的にユーザーの意図を捉え、希薄なユーザーガイダンスのある未知のシーンにも汎化する効果的なインタラクティブ分岐を示し、領域重視性が向上したため自動分岐も最先端のリタッチ方法を上回るという結果が示されています。

要約(オリジナル)

Portrait retouching aims to improve the aesthetic quality of input portrait photos and especially requires human-region priority. The deep learning-based methods largely elevate the retouching efficiency and provide promising retouched results. However, existing portrait retouching methods focus on automatic retouching, which treats all human-regions equally and ignores users’ preferences for specific individuals, thus suffering from limited flexibility in interactive scenarios. In this work, we emphasize the importance of users’ intents and explore the interactive portrait retouching task. Specifically, we propose a region-aware retouching framework with two branches: an automatic branch and an interactive branch. The automatic branch involves an encoding-decoding process, which searches region candidates and performs automatic region-aware retouching without user guidance. The interactive branch encodes sparse user guidance into a priority condition vector and modulates latent features with a region selection module to further emphasize the user-specified regions. Experimental results show that our interactive branch effectively captures users’ intents and generalizes well to unseen scenes with sparse user guidance, while our automatic branch also outperforms the state-of-the-art retouching methods due to improved region-awareness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI