ContraFeat: Contrasting Deep Features for Semantic Discovery

要約

StyleGAN は、多層中間潜在変数の特別な設計のおかげで、セマンティック制御のもつれを解く強力な可能性を示しています。
ただし、StyleGAN の既存のセマンティック発見方法は、変更された潜在層を手動で選択して満足のいく操作結果を得ることに依存しており、これは退屈で要求が厳しいものです。
この論文では、このプロセスを自動化し、最先端のセマンティック発見パフォーマンスを実現するモデルを提案します。
このモデルは、注目を集めるナビゲーターモジュールと、深い機能の変化を対比する損失で構成されています。
2 つのモデル バリアントを提案します。1 つはサンプルをバイナリ方式で比較し、もう 1 つは学習したプロトタイプの変動パターンを使用してサンプルを比較します。
提案された損失は、特徴が一貫性と直交性を含む望ましい意味構造を暗黙的に明らかにできるという仮定に基づいて、事前に訓練された深い特徴で定義されます。
さらに、FFHQ データセットでのセマンティック ディスカバリー メソッドのパフォーマンスを定量的に評価する 2 つのメトリックを設計し、単純なトレーニング プロセスによってもつれを解く表現を導出できることも示します。
実験的に、私たちのモデルは潜在的なレイヤーごとの手動選択に頼ることなく最先端のセマンティック発見結果を得ることができ、これらの発見されたセマンティクスは現実世界の画像を操作するために使用できます。

要約(オリジナル)

StyleGAN has shown strong potential for disentangled semantic control, thanks to its special design of multi-layer intermediate latent variables. However, existing semantic discovery methods on StyleGAN rely on manual selection of modified latent layers to obtain satisfactory manipulation results, which is tedious and demanding. In this paper, we propose a model that automates this process and achieves state-of-the-art semantic discovery performance. The model consists of an attention-equipped navigator module and losses contrasting deep-feature changes. We propose two model variants, with one contrasting samples in a binary manner, and another one contrasting samples with learned prototype variation patterns. The proposed losses are defined with pretrained deep features, based on our assumption that the features can implicitly reveal the desired semantic structure including consistency and orthogonality. Additionally, we design two metrics to quantitatively evaluate the performance of semantic discovery methods on FFHQ dataset, and also show that disentangled representations can be derived via a simple training process. Experimentally, our models can obtain state-of-the-art semantic discovery results without relying on latent layer-wise manual selection, and these discovered semantics can be used to manipulate real-world images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google