Taming a Generative Model

要約

生成モデルはますます強力になり、非常にリアルな画像を合成できるようになっています。
これらのモデルを飼いならすためのアルゴリズムを提案します – モデルが特定の画像または画像カテゴリを生成する確率を変更します。
フローの正規化によって強化された生成モデルを検討します。これにより、特定の画像の正確な生成確率の可能性について推論できます。
私たちの方法は汎用的であり、多くの興味深いプライバシーとバイアスの考慮事項を持つサブドメインである人間の顔を生成するモデルを使用してそれを例示します。
私たちの方法は、プライバシーのコンテキストで使用できます。たとえば、モデルの出力から特定の人物を削除したり、特定のターゲット分布に従って特定の画像カテゴリを出力するようモデルに強制することでバイアス緩和のコンテキストで使用したりできます。
私たちの方法は、モデルを最初から再トレーニングすることなく高速な微調整プロセスを使用し、生成モデルを最初にトレーニングするのにかかる時間の 1% 未満で目標を達成します。
調教プロセスの成功と出力品質を調べるために、定性的および定量的に評価します。

要約(オリジナル)

Generative models are becoming ever more powerful, being able to synthesize highly realistic images. We propose an algorithm for taming these models – changing the probability that the model will produce a specific image or image category. We consider generative models that are powered by normalizing flows, which allows us to reason about the exact generation probability likelihood for a given image. Our method is general purpose, and we exemplify it using models that generate human faces, a subdomain with many interesting privacy and bias considerations. Our method can be used in the context of privacy, e.g., removing a specific person from the output of a model, and also in the context of de-biasing by forcing a model to output specific image categories according to a given target distribution. Our method uses a fast fine-tuning process without retraining the model from scratch, achieving the goal in less than 1% of the time taken to initially train the generative model. We evaluate qualitatively and quantitatively, to examine the success of the taming process and output quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google