WEDGE: Web-Image Assisted Domain Generalization for Semantic Segmentation

要約

セマンティック セグメンテーションのためのドメインの一般化は、トレーニング済みのモデルがこれまでにないドメインでうまく機能することが期待される実際のアプリケーションで非常に要求されます。
課題の 1 つは、トレーニング用の目に見えない可能性のあるドメインの多様な分布をカバーできるデータが不足していることにあります。
この論文では、一般化可能なセマンティックセグメンテーションのためにWebクロールされた画像の多様性を初めて利用する、WEB画像支援ドメインジェネラル化（WEDGE）スキームを提案します。
現実世界のデータ分布を調査して活用するために、気象条件、場所、照明、カメラ スタイルなどの点で大きな多様性を示す Web クロールされたデータセットを収集します。また、Web のスタイル表現を挿入する方法も提示します。
-トレーニング中にオンザフライでソース ドメインにデータをクロールすることで、効果的なトレーニングのための信頼できるラベルを使用して、ネットワークが多様なスタイルの画像を体験できるようにします。
さらに、ネットワークの機能をさらに強化するために、予測された疑似ラベルを含む Web クロールされたデータセットをトレーニングに使用します。
広範な実験により、私たちの方法が既存のドメイン一般化手法よりも明らかに優れていることが示されています。

要約(オリジナル)

Domain generalization for semantic segmentation is highly demanded in real applications, where a trained model is expected to work well in previously unseen domains. One challenge lies in the lack of data which could cover the diverse distributions of the possible unseen domains for training. In this paper, we propose a WEb-image assisted Domain GEneralization (WEDGE) scheme, which is the first to exploit the diversity of web-crawled images for generalizable semantic segmentation. To explore and exploit the real-world data distributions, we collect a web-crawled dataset which presents large diversity in terms of weather conditions, sites, lighting, camera styles, etc. We also present a method which injects the style representation of the web-crawled data into the source domain on-the-fly during training, which enables the network to experience images of diverse styles with reliable labels for effective training. Moreover, we use the web-crawled dataset with predicted pseudo labels for training to further enhance the capability of the network. Extensive experiments demonstrate that our method clearly outperforms existing domain generalization techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google