Adaptive Stylization Modulation for Domain Generalization Semantic Segmentation

要約

タイトル：ドメインジェネラライゼーションセマンティックセグメンテーションに対する適応的スタイリゼーション変調

要約：
– モデルトレーニングに十分なラベル付きデータを入手することは現実的ではないため、我々は追加のデータを取得しラベルをつける必要性を減らすために、セマンティックセグメンテーションタスクにおけるドメインジェネラライゼーションの問題に対処する。
– 最近のドメインジェネラライゼーションについての研究では、画像の色、スタイル、テクスチャなどのドメイン特異的な特徴を変化させることによって、データの多様性を増やしている。しかし、過度なスタイリゼーション、あるいは均一なスタイリゼーションは、パフォーマンスを低下させる可能性がある。特に少数クラスのピクセルについては、多数クラスのピクセルに比べて分類がより困難であるため、注意が必要である。
– そのため、ピクセルの意味的内容に応じて、ASH_{+}というモジュールを導入し、各ピクセルのスタイリゼーション強度を変調する。また、スタイル化されたドメイン画像の要素ごととチャンネルごとのスタイル化特徴と原始ソースドメイン特徴の比率をバランスさせるパラメータを導入し、エンパイリカルに決定されたグローバルハイパーパラメーターを置き換えることで、出力されたスタイル化画像をより細かく制御することができるようになった。
– 我々は複数の実験を行い、提案された方法の効果を検証した。最後に、我々は公開されているベンチマークセマンティックセグメンテーションデータセット（CityscapesとSYNTHIA）でモデルを評価した。定量的および定性的な比較から、我々のアプローチは、最新の技術に対して競争力があることが示された。コードは\url{https://github.com/placeholder}で利用可能である。

要約(オリジナル)

Obtaining sufficient labelled data for model training is impractical for most real-life applications. Therefore, we address the problem of domain generalization for semantic segmentation tasks to reduce the need to acquire and label additional data. Recent work on domain generalization increase data diversity by varying domain-variant features such as colour, style and texture in images. However, excessive stylization or even uniform stylization may reduce performance. Performance reduction is especially pronounced for pixels from minority classes, which are already more challenging to classify compared to pixels from majority classes. Therefore, we introduce a module, $ASH_{+}$, that modulates stylization strength for each pixel depending on the pixel’s semantic content. In this work, we also introduce a parameter that balances the element-wise and channel-wise proportion of stylized features with the original source domain features in the stylized source domain images. This learned parameter replaces an empirically determined global hyperparameter, allowing for more fine-grained control over the output stylized image. We conduct multiple experiments to validate the effectiveness of our proposed method. Finally, we evaluate our model on the publicly available benchmark semantic segmentation datasets (Cityscapes and SYNTHIA). Quantitative and qualitative comparisons indicate that our approach is competitive with state-of-the-art. Code is made available at \url{https://github.com/placeholder}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI