WEDGE: Web-Image Assisted Domain Generalization for Semantic Segmentation

要約

タイトル：WEDGE: Web-Image Assisted Domain Generalization for Semantic Segmentation
要約：
– セマンティックセグメンテーションにおけるドメイン汎化は、トレーニングされたモデルが以前に見たことのないドメインでもうまく動作することが期待される実際のアプリケーションで高い需要がある。
– 一つの課題は、トレーニング用に可能な未知のドメインの多様な分布をカバーすることのできるデータの不足にある。
– 本論文では、Web画像を利用したドメイン汎化手法であるWEDGEを提案している。
– 現実のデータ分布を探索し、活用するために、天気、場所、照明、カメラスタイルなどに関して多様性を持つWebクロール画像を収集している。
– トレーニング中にWebクロール画像のスタイルをトレーニング画像にオンザフライで注入する方法を提案し、信頼性の高いラベルが付いた多様なスタイルの画像を経験させることで、効果的なトレーニングを実現している。
– さらに、予測された疑似ラベルを持つWebクロール画像をトレーニングに使用し、ネットワークの能力をさらに向上させている。
– 広範な実験により、本手法が既存のドメイン汎化技術を明らかに上回ることが示された。

要約(オリジナル)

Domain generalization for semantic segmentation is highly demanded in real applications, where a trained model is expected to work well in previously unseen domains. One challenge lies in the lack of data which could cover the diverse distributions of the possible unseen domains for training. In this paper, we propose a WEb-image assisted Domain GEneralization (WEDGE) scheme, which is the first to exploit the diversity of web-crawled images for generalizable semantic segmentation. To explore and exploit the real-world data distributions, we collect web-crawled images which present large diversity in terms of weather conditions, sites, lighting, camera styles, etc. We also present a method which injects styles of the web-crawled images into training images on-the-fly during training, which enables the network to experience images of diverse styles with reliable labels for effective training. Moreover, we use the web-crawled images with their predicted pseudo labels for training to further enhance the capability of the network. Extensive experiments demonstrate that our method clearly outperforms existing domain generalization techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI