Style Quantization for Data-Efficient GAN Training

要約

限られたデータ設定では、GANSはしばしば入力潜在スペースをナビゲートし、効果的に活用するのに苦労します。
その結果、スパース入力潜在空間で隣接する変数から生成された画像は、リアリズムに有意な矛盾を示す可能性があり、最適ではない一貫性の正規化（CR）の結果につながります。
これに対処するために、スタイル空間量子化スキームを導入することでCRを強化する新しいアプローチである\ textit {sq-Gan}を提案します。
この方法は、スパースで連続的な入力潜在スペースをコンパクトな構造化された離散プロキシ空間に変換し、各要素が特定の実際のデータポイントに対応し、CRパフォーマンスを向上させることができます。
直接的な量子化の代わりに、最初に入力潜在変数をあまり絡み合っていない「スタイル」空間にマッピングし、学習可能なコードブックを使用して量子化を適用します。
これにより、各量子化されたコードが変動の異なる要因を制御できます。
さらに、最適な輸送距離を最適化して、基礎モデルによってトレーニングデータから抽出された機能とコードブックコードを調整し、外部知識をコードブックに埋め込み、トレーニングデータセットを適切に説明する意味的に豊富な語彙を確立します。
広範な実験は、私たちの方法で、判別器の堅牢性と生成品質の両方の大幅な改善を示しています。

要約(オリジナル)

Under limited data setting, GANs often struggle to navigate and effectively exploit the input latent space. Consequently, images generated from adjacent variables in a sparse input latent space may exhibit significant discrepancies in realism, leading to suboptimal consistency regularization (CR) outcomes. To address this, we propose \textit{SQ-GAN}, a novel approach that enhances CR by introducing a style space quantization scheme. This method transforms the sparse, continuous input latent space into a compact, structured discrete proxy space, allowing each element to correspond to a specific real data point, thereby improving CR performance. Instead of direct quantization, we first map the input latent variables into a less entangled “style” space and apply quantization using a learnable codebook. This enables each quantized code to control distinct factors of variation. Additionally, we optimize the optimal transport distance to align the codebook codes with features extracted from the training data by a foundation model, embedding external knowledge into the codebook and establishing a semantically rich vocabulary that properly describes the training dataset. Extensive experiments demonstrate significant improvements in both discriminator robustness and generation quality with our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google