Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts

要約

特に自律走行などのセーフティクリティカルなアプリケーションでは、ドメインシフトに対するモデルの汎化性を向上させることが重要である。実世界のドメインスタイルは、環境の変化やセンサーのノイズによって大きく変化しますが、ディープモデルは学習したドメインスタイルしか知りません。このようなドメインスタイルのギャップは、多様な実世界ドメインにおけるモデルの汎化を阻害する。我々が提案する正規化摂動（NP）は、このドメインスタイルのオーバーフィッティングの問題を効果的に克服することができる。我々は、この問題は主に浅いCNN層で学習された低レベル特徴の偏った分布に起因していると考えている。そこで、我々は、様々な潜在的なスタイルを合成するために、ソースドメイン特徴のチャネル統計に摂動を与えることを提案し、これにより、学習したディープモデルが多様な潜在的ドメインを知覚でき、学習時にターゲットドメインのデータを観測しなくてもうまく汎化することができるようにする。我々はさらに、効果的なスタイル合成のためのスタイルセンシティブチャネルを探索する。Normalization Perturbationは単一のソースドメインにのみ依存し、驚くほど効果的で、実装が極めて容易である。広範な実験により、実世界のドメインシフト下でのモデルの汎化に対する我々の手法の有効性を検証する。

要約(オリジナル)

Improving model’s generalizability against domain shifts is crucial, especially for safety-critical applications such as autonomous driving. Real-world domain styles can vary substantially due to environment changes and sensor noises, but deep models only know the training domain style. Such domain style gap impedes model generalization on diverse real-world domains. Our proposed Normalization Perturbation (NP) can effectively overcome this domain style overfitting problem. We observe that this problem is mainly caused by the biased distribution of low-level features learned in shallow CNN layers. Thus, we propose to perturb the channel statistics of source domain features to synthesize various latent styles, so that the trained deep model can perceive diverse potential domains and generalizes well even without observations of target domain data in training. We further explore the style-sensitive channels for effective style synthesis. Normalization Perturbation only relies on a single source domain and is surprisingly effective and extremely easy to implement. Extensive experiments verify the effectiveness of our method for generalizing models under real-world domain shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL