DyStyle: Dynamic Neural Network for Multi-Attribute-Conditioned Style Editing

要約

StyleGAN のセマンティックな制御性は、絶え間ない研究によって強化されています。
既存の弱い監視方法は、1 つの属性に沿ってスタイル コードを操作する場合にはうまく機能しますが、複数の属性を操作する精度は無視されます。
複数の属性表現は、StyleGAN の潜在空間で絡み合いやすく、逐次編集はエラーの蓄積につながります。
これらの制限に対処するために、構造とパラメーターが入力サンプルによって異なる動的スタイル操作ネットワーク (DyStyle) を設計し、潜在コードの非線形で適応的な操作を実行して、柔軟で正確な属性制御を行います。
DyStyle ネットワークの効率的かつ安定した最適化のために、動的多属性コントラスト学習 (DmaCL) メソッドを提案します。これには、動的多属性コントラストと動的多属性コントラスト損失が含まれます。これらは、生成からさまざまな属性を同時に解きほぐします。
モデルのイメージと潜在空間。
その結果、私たちのアプローチは、複数の数値属性とバイナリ属性に沿って、きめ細かく絡み合った編集を示しています。
既存のスタイル操作方法との質的および量的比較により、フォトリアリズムを損なうことなく、複数属性制御の精度とアイデンティティ保存の点で、私たちの方法の優位性が検証されます。

要約(オリジナル)

The semantic controllability of StyleGAN is enhanced by unremitting research. Although the existing weak supervision methods work well in manipulating the style codes along one attribute, the accuracy of manipulating multiple attributes is neglected. Multi-attribute representations are prone to entanglement in the StyleGAN latent space, while sequential editing leads to error accumulation. To address these limitations, we design a Dynamic Style Manipulation Network (DyStyle) whose structure and parameters vary by input samples, to perform nonlinear and adaptive manipulation of latent codes for flexible and precise attribute control. In order to efficient and stable optimization of the DyStyle network, we propose a Dynamic Multi-Attribute Contrastive Learning (DmaCL) method: including dynamic multi-attribute contrastor and dynamic multi-attribute contrastive loss, which simultaneously disentangle a variety of attributes from the generative image and latent space of model. As a result, our approach demonstrates fine-grained disentangled edits along multiple numeric and binary attributes. Qualitative and quantitative comparisons with existing style manipulation methods verify the superiority of our method in terms of the multi-attribute control accuracy and identity preservation without compromising photorealism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google