Adversarial Style Augmentation for Domain Generalized Urban-Scene Segmentation

要約

この論文では、セマンティックセグメンテーションにおけるドメイン一般化の問題を検討します。これは、ラベル付けされた合成（ソース）データのみを使用して堅牢なモデルを学習することを目的としています。
このモデルは、目に見えない実際の（ターゲット）ドメインでうまく機能することが期待されています。
私たちの調査によると、画像のスタイルの変化はモデルのパフォーマンスに大きく影響する可能性があり、スタイルの特徴は画像のチャネルごとの平均と標準偏差によって適切に表すことができます。
これに触発されて、トレーニング中にハードスタイルの画像を動的に生成できる新しい敵対的スタイル拡張（AdvStyle）アプローチを提案します。これにより、モデルがソースドメインに過剰適合するのを効果的に防ぐことができます。
具体的には、AdvStyleはスタイル機能を学習可能なパラメーターと見なし、敵対的なトレーニングによって更新します。
学習した敵対的スタイル機能は、堅牢なモデルトレーニングのための敵対的イメージを構築するために使用されます。
AdvStyleは実装が簡単で、さまざまなモデルに簡単に適用できます。
2つの合成から実数へのセマンティックセグメンテーションベンチマークでの実験は、AdvStyleが目に見えない実領域でのモデルのパフォーマンスを大幅に改善できることを示し、最先端を達成できることを示しています。
さらに、AdvStyleを使用して、一般化された画像分類をドメイン化し、検討対象のデータセットを明確に改善できます。

要約(オリジナル)

In this paper, we consider the problem of domain generalization in semantic segmentation, which aims to learn a robust model using only labeled synthetic (source) data. The model is expected to perform well on unseen real (target) domains. Our study finds that the image style variation can largely influence the model’s performance and the style features can be well represented by the channel-wise mean and standard deviation of images. Inspired by this, we propose a novel adversarial style augmentation (AdvStyle) approach, which can dynamically generate hard stylized images during training and thus can effectively prevent the model from overfitting on the source domain. Specifically, AdvStyle regards the style feature as a learnable parameter and updates it by adversarial training. The learned adversarial style feature is used to construct an adversarial image for robust model training. AdvStyle is easy to implement and can be readily applied to different models. Experiments on two synthetic-to-real semantic segmentation benchmarks demonstrate that AdvStyle can significantly improve the model performance on unseen real domains and show that we can achieve the state of the art. Moreover, AdvStyle can be employed to domain generalized image classification and produces a clear improvement on the considered datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google