Generative Semantic Segmentation

要約

セマンティック セグメンテーションの生成的学習アプローチである Generative Semantic Segmentation (GSS) を紹介します。
独自に、セマンティック セグメンテーションを画像条件付きマスク生成問題としてキャストします。
これは、従来のピクセルごとの識別学習を潜在的な事前学習プロセスに置き換えることによって実現されます。
具体的には、セグメンテーション マスクが与えられた潜在変数の変分事後分布をモデル化します。
そのために、セグメンテーション マスクは特別な種類の画像 (マスキージと呼ばれる) で表現されます。
この事後分布により、セグメンテーション マスクを無条件に生成できます。
特定の画像でセマンティック セグメンテーションを実現するために、条件付けネットワークをさらに導入します。
これは、マスキージ (つまり、セグメンテーション マスク) の事後分布と入力トレーニング イメージの潜在的な事前分布との間の相違を最小限に抑えることによって最適化されます。
標準的なベンチマークでの広範な実験により、当社の GSS は、標準的なセマンティック セグメンテーション設定で従来技術の代替手段と競合するパフォーマンスを発揮できる一方で、より挑戦的なクロスドメイン設定で新しい最先端技術を達成できることが示されています。

要約(オリジナル)

We present Generative Semantic Segmentation (GSS), a generative learning approach for semantic segmentation. Uniquely, we cast semantic segmentation as an image-conditioned mask generation problem. This is achieved by replacing the conventional per-pixel discriminative learning with a latent prior learning process. Specifically, we model the variational posterior distribution of latent variables given the segmentation mask. To that end, the segmentation mask is expressed with a special type of image (dubbed as maskige). This posterior distribution allows to generate segmentation masks unconditionally. To achieve semantic segmentation on a given image, we further introduce a conditioning network. It is optimized by minimizing the divergence between the posterior distribution of maskige (i.e., segmentation masks) and the latent prior distribution of input training images. Extensive experiments on standard benchmarks show that our GSS can perform competitively to prior art alternatives in the standard semantic segmentation setting, whilst achieving a new state of the art in the more challenging cross-domain setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google