Domain Expansion of Image Generators

要約

タイトル：画像生成器のドメイン拡張
要約：
– 事前に訓練された生成器を新しい関係のあるドメインに拡張し、既存の構造と知識を尊重することで、新しい概念を既存の生成モデルに注入できるかを検証する
– 事前に訓練された生成器は意味のある潜在的空間を保持しており、その空間を最小限に操り新しいドメインを最大限に表現することが可能である
– 事前に訓練された生成器は何百もの新しいドメインを追加することができ、新しいドメインを表現するために元の表現を動かすことなく利用できる未使用の「休眠した」方向を持っていることがわかった
– 拡張方法を用いることで、複数のドメイン固有モデルを拡張されたモデルが代替できるため、モデルサイズを拡張することなく単一の拡張された生成器により多数のドメインをサポートできる
– また、単一の拡張された生成器はドメイン間のスムーズな移行とドメインの合成をネイティブにサポートする。コードとプロジェクトページはhttps://yotamnitzan.github.io/domain-expansion/で利用可能である。

要約(オリジナル)

Can one inject new concepts into an already trained generative model, while respecting its existing structure and knowledge? We propose a new task – domain expansion – to address this. Given a pretrained generator and novel (but related) domains, we expand the generator to jointly model all domains, old and new, harmoniously. First, we note the generator contains a meaningful, pretrained latent space. Is it possible to minimally perturb this hard-earned representation, while maximally representing the new domains? Interestingly, we find that the latent space offers unused, ‘dormant’ directions, which do not affect the output. This provides an opportunity: By ‘repurposing’ these directions, we can represent new domains without perturbing the original representation. In fact, we find that pretrained generators have the capacity to add several – even hundreds – of new domains! Using our expansion method, one ‘expanded’ model can supersede numerous domain-specific models, without expanding the model size. Additionally, a single expanded generator natively supports smooth transitions between domains, as well as composition of domains. Code and project page available at https://yotamnitzan.github.io/domain-expansion/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI