Only-Style: Stylistic Consistency in Image Generation without Content Leakage

要約

一貫した参照視覚スタイルで画像を生成することは、挑戦的なコンピュータービジョンタスクのままです。
スタイル一貫性のある世代を目指して、セマンティックコンテンツを文体的要素から効果的に分離するための闘争を目的とした最先端の方法は、ターゲットへの参照として提供される画像からのコンテンツの漏れにつながります。
この課題に対処するために、スタイルのみを提案します。これは、文体的な一貫性を維持しながら、意味的に一貫した方法でコンテンツの漏れを緩和するように設計された方法です。
推論中にコンテンツの漏れをローカライズすることでスタイルのみが機能し、特に参照画像にサブジェクトを含む画像パッチ内で、スタイルアライメントプロセスを制御するパラメーターの適応チューニングを可能にします。
この適応プロセスは、漏れ除去とスタイルの一貫性のバランスをとります。
さらに、コンテンツ漏れのローカリゼーションは、参照標的画像ペアを与えられてスタンドアロンコンポーネントとして機能し、スタイルの参照の影響を制御するメソッド固有のパラメーターの適応チューニングを可能にします。
さらに、望ましくないコンテンツの漏れを避けるためのスタイル一貫性のある世代の成功を定量化するための新しい評価フレームワークを提案します。
私たちのアプローチは、多様なインスタンス全体の広範な評価を通じて、最先端の方法に対する大幅な改善を示しており、望ましくないコンテンツの漏れなしに一貫して堅牢なスタイルの一貫性を達成しています。

要約(オリジナル)

Generating images in a consistent reference visual style remains a challenging computer vision task. State-of-the-art methods aiming for style-consistent generation struggle to effectively separate semantic content from stylistic elements, leading to content leakage from the image provided as a reference to the targets. To address this challenge, we propose Only-Style: a method designed to mitigate content leakage in a semantically coherent manner while preserving stylistic consistency. Only-Style works by localizing content leakage during inference, allowing the adaptive tuning of a parameter that controls the style alignment process, specifically within the image patches containing the subject in the reference image. This adaptive process best balances stylistic consistency with leakage elimination. Moreover, the localization of content leakage can function as a standalone component, given a reference-target image pair, allowing the adaptive tuning of any method-specific parameter that provides control over the impact of the stylistic reference. In addition, we propose a novel evaluation framework to quantify the success of style-consistent generations in avoiding undesired content leakage. Our approach demonstrates a significant improvement over state-of-the-art methods through extensive evaluation across diverse instances, consistently achieving robust stylistic consistency without undesired content leakage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google