Rewriting Geometric Rules of a GAN

要約

深い生成モデルは、収集されたデータセットに基づいて多様で現実的なコンテンツの合成を自動化することにより、初心者ユーザーが視覚的なコンテンツの作成にアクセスしやすくします。
ただし、現在の機械学習アプローチでは、創造的なプロセスの重要な要素である、データの配布や日常の経験をはるかに超えたものを合成する機能が欠けています。
この問題への対処を開始するために、ユーザーが必要な幾何学的変更を加えた元のモデル出力をほんの一握り編集することで、特定のモデルを「ワープ」できるようにします。
私たちの方法は、編集された例を再構築するために、単一のモデルレイヤーに低ランクの更新を適用します。
さらに、過剰適合と戦うために、スタイルミキシングに基づく潜在空間拡張法を提案します。
私たちの方法では、ユーザーは、定義された幾何学的変化を伴う無限のオブジェクトを合成するモデルを作成でき、大規模なデータセットをキュレートする負担なしに、新しい生成モデルを作成できます。
また、編集したモデルを構成して集約効果を実現できることを示し、ユーザーが構成を通じて新しいモデルを作成できるようにするインタラクティブなインターフェイスを紹介します。
複数のテストケースでの経験的測定は、最近のGAN微調整方法に対する私たちの方法の利点を示唆しています。
最後に、潜在空間補間や画像編集など、編集されたモデルを使用したいくつかのアプリケーションを紹介します。

要約(オリジナル)

Deep generative models make visual content creation more accessible to novice users by automating the synthesis of diverse, realistic content based on a collected dataset. However, the current machine learning approaches miss a key element of the creative process — the ability to synthesize things that go far beyond the data distribution and everyday experience. To begin to address this issue, we enable a user to ‘warp’ a given model by editing just a handful of original model outputs with desired geometric changes. Our method applies a low-rank update to a single model layer to reconstruct edited examples. Furthermore, to combat overfitting, we propose a latent space augmentation method based on style-mixing. Our method allows a user to create a model that synthesizes endless objects with defined geometric changes, enabling the creation of a new generative model without the burden of curating a large-scale dataset. We also demonstrate that edited models can be composed to achieve aggregated effects, and we present an interactive interface to enable users to create new models through composition. Empirical measurements on multiple test cases suggest the advantage of our method against recent GAN fine-tuning methods. Finally, we showcase several applications using the edited models, including latent space interpolation and image editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google