Visualize and Paint GAN Activations

要約

私たちは、これらのモデルの内部動作をより深く理解し、無条件にトレーニングされた GAN で構造をペイントできるようにすることを目的として、GAN の生成された構造が隠れ層での活性化とどのように相関するかを調査します。
これにより、生成された画像をより詳細に制御できるようになり、トレーニング データでそのようなセグメンテーションを必要とせずに、セマンティック セグメンテーション マップから画像を生成できるようになります。
この目的のために、タイル化可能な機能の概念を導入し、ペイントに適したアクティベーションを特定できるようにします。

要約(オリジナル)

We investigate how generated structures of GANs correlate with their activations in hidden layers, with the purpose of better understanding the inner workings of those models and being able to paint structures with unconditionally trained GANs. This gives us more control over the generated images, allowing to generate them from a semantic segmentation map while not requiring such a segmentation in the training data. To this end we introduce the concept of tileable features, allowing us to identify activations that work well for painting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google