FurryGAN: High Quality Foreground-aware Image Synthesis

要約

前景認識画像合成は、画像とその前景マスクを生成することを目的としています。
一般的なアプローチは、フォアグラウンド イメージとバックグラウンド イメージのマスクされたブレンドとしてイメージを定式化することです。
いずれかの画像が他方を圧倒する、つまり、マスクが完全にいっぱいになるか空になり、前景と背景が意味をなして分離されないという単純な解決策に到達する傾向があるため、これは困難な問題です。
FurryGAN に 3 つの重要なコンポーネントを提示します。1) 前景画像と合成画像の両方を現実的にすること、2) 粗いマスクと細かいマスクの組み合わせとしてマスクを設計すること、3) 補助マスク予測子によってジェネレーターをガイドすることです。
差別者。
私たちの方法は、髪、毛皮、ひげを完全に監視されていない方法でカバーする、非常に詳細なアルファマスクを使用してリアルな画像を生成します。

要約(オリジナル)

Foreground-aware image synthesis aims to generate images as well as their foreground masks. A common approach is to formulate an image as an masked blending of a foreground image and a background image. It is a challenging problem because it is prone to reach the trivial solution where either image overwhelms the other, i.e., the masks become completely full or empty, and the foreground and background are not meaningfully separated. We present FurryGAN with three key components: 1) imposing both the foreground image and the composite image to be realistic, 2) designing a mask as a combination of coarse and fine masks, and 3) guiding the generator by an auxiliary mask predictor in the discriminator. Our method produces realistic images with remarkably detailed alpha masks which cover hair, fur, and whiskers in a fully unsupervised manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google