Adaptive Stylization Modulation for Domain Generalized Semantic Segmentation

要約

タイトル：ドメイン汎用意味セグメンテーションのための適応型スタイル変換
要約：
– ほとんどの現実的なアプリケーションでは、モデルのトレーニングに十分なラベル付きデータを取得することは実用的でありません。それゆえ、私たちは意味セグメンテーションタスクのドメイン汎用化の問題に取り組んで、追加のデータを獲得し、ラベルを付ける必要性を減らします。
– ドメイン汎用化の最近の研究では、画像の色、スタイル、テクスチャなどのドメイン固有の特徴を変化させることで、データの多様性を増やすようにしています。しかし、過剰なスタイル化や均一なスタイル化はパフォーマンスを低下させる可能性があります。
– さらに、マイノリティクラスのピクセルは、多数派クラスのピクセルと比べて分類がより困難であるため、特にパフォーマンス低下が顕著です。そのため、本研究では、各ピクセルの意味的内容に応じて、スタイル化の強度を変調するモジュール$ASH_{+}$を提案しています。
– 本研究では、スタイル化されたソースドメイン画像の元のソースドメイン特徴とスタイル化フィーチャの要素ごととチャネルごとの割合をバランスさせるパラメータを導入しました。この学習済みパラメータは、経験的に決定されたグローバルハイパーパラメータを置き換え、出力されるスタイル化された画像の細かな制御が可能になります。
– 本提案手法の有効性を検証するための複数の実験を実施しました。最後に、公開されているベンチマーク意味セグメンテーションデータセット（CityscapesおよびSYNTHIA）でモデルを評価しました。定量的および定性的な比較により、提案手法が最先端の手法と競合することが示されました。コードは\url{https://github.com/placeholder}で提供されます。

要約(オリジナル)

Obtaining sufficient labelled data for model training is impractical for most real-life applications. Therefore, we address the problem of domain generalization for semantic segmentation tasks to reduce the need to acquire and label additional data. Recent work on domain generalization increase data diversity by varying domain-variant features such as colour, style and texture in images. However, excessive stylization or even uniform stylization may reduce performance. Performance reduction is especially pronounced for pixels from minority classes, which are already more challenging to classify compared to pixels from majority classes. Therefore, we introduce a module, $ASH_{+}$, that modulates stylization strength for each pixel depending on the pixel’s semantic content. In this work, we also introduce a parameter that balances the element-wise and channel-wise proportion of stylized features with the original source domain features in the stylized source domain images. This learned parameter replaces an empirically determined global hyperparameter, allowing for more fine-grained control over the output stylized image. We conduct multiple experiments to validate the effectiveness of our proposed method. Finally, we evaluate our model on the publicly available benchmark semantic segmentation datasets (Cityscapes and SYNTHIA). Quantitative and qualitative comparisons indicate that our approach is competitive with state-of-the-art. Code is made available at \url{https://github.com/placeholder}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI