Self-Ensembling GAN for Cross-Domain Semantic Segmentation

要約

ディープ ニューラル ネットワーク (DNN) は、セマンティック セグメンテーションのパフォーマンス向上に大きく貢献しています。
それにもかかわらず、DNN のトレーニングには通常、大量のピクセルレベルのラベル付きデータが必要であり、実際に収集するには費用と時間がかかります。
注釈の負担を軽減するために、このペーパーでは、セマンティック セグメンテーションにクロスドメイン データを利用する自己集合生成的敵対的ネットワーク (SE-GAN) を提案します。
SE-GAN では、教師のネットワークと生徒のネットワークがセマンティック セグメンテーション マップを生成するための自己集合モデルを構成し、弁別子と共に GAN を形成します。
そのシンプルさにもかかわらず、SE-GAN は敵対的トレーニングのパフォーマンスを大幅に向上させ、モデルの安定性を高めることができることがわかりました。モデルの安定性は、ほとんどの敵対的トレーニングベースの方法で共有される一般的な障壁です。
SE-GAN を理論的に分析し、$\mathcal O(1/\sqrt{N})$ 汎化限界 ($N$ はトレーニング サンプル サイズ) を提供します。
したがって、識別器として単純なネットワークを選択します。
2 つの標準設定での広範な体系的な実験により、提案された方法が現在の最先端のアプローチよりも大幅に優れていることが示されています。
モデルのソース コードはオンラインで入手できます (https://github.com/YonghaoXu/SE-GAN)。

要約(オリジナル)

Deep neural networks (DNNs) have greatly contributed to the performance gains in semantic segmentation. Nevertheless, training DNNs generally requires large amounts of pixel-level labeled data, which is expensive and time-consuming to collect in practice. To mitigate the annotation burden, this paper proposes a self-ensembling generative adversarial network (SE-GAN) exploiting cross-domain data for semantic segmentation. In SE-GAN, a teacher network and a student network constitute a self-ensembling model for generating semantic segmentation maps, which together with a discriminator, forms a GAN. Despite its simplicity, we find SE-GAN can significantly boost the performance of adversarial training and enhance the stability of the model, the latter of which is a common barrier shared by most adversarial training-based methods. We theoretically analyze SE-GAN and provide an $\mathcal O(1/\sqrt{N})$ generalization bound ($N$ is the training sample size), which suggests controlling the discriminator’s hypothesis complexity to enhance the generalizability. Accordingly, we choose a simple network as the discriminator. Extensive and systematic experiments in two standard settings demonstrate that the proposed method significantly outperforms current state-of-the-art approaches. The source code of our model is available online (https://github.com/YonghaoXu/SE-GAN).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google