Hierarchical-level rain image generative model based on GAN

要約

自動運転車は走行中にさまざまな天候にさらされるため、認識システムの性能制限が引き起こされる可能性があり、意図された機能の安全性（SOTIF）の問題につながります。
さまざまな気象条件下で視覚認識アルゴリズムのパフォーマンスをテストするためのデータを効率的に生成するために、階層レベルの雨画像生成モデルである雨条件付き CycleGAN (RCCycleGAN) が構築されています。
RCCycleGAN は敵対的生成ネットワーク (GAN) に基づいており、小雨、中雨、大雨の画像を生成できます。
条件付き GAN (CGAN) では、さまざまな雨の強度がラベルとして導入されます。
その間、モデル構造が最適化され、トレーニング戦略が調整されてモード崩壊の問題が軽減されます。
さらに、さまざまな強度の自然の雨の画像が収集され、モデルのトレーニングと検証のために処理されます。
CycleGAN と DerainCycleGAN の 2 つのベースライン モデルと比較して、テスト データセット上の RCCycleGAN のピーク信号対雑音比 (PSNR) は 2.58 dB と 0.74 dB 改善され、構造類似性 (SSIM) は 18% と 0.74 dB 改善されました。
それぞれ8%。
モデル調整の有効性を検証するためにアブレーション実験も実行されます。

要約(オリジナル)

Autonomous vehicles are exposed to various weather during operation, which is likely to trigger the performance limitations of the perception system, leading to the safety of the intended functionality (SOTIF) problems. To efficiently generate data for testing the performance of visual perception algorithms under various weather conditions, a hierarchical-level rain image generative model, rain conditional CycleGAN (RCCycleGAN), is constructed. RCCycleGAN is based on the generative adversarial network (GAN) and can generate images of light, medium, and heavy rain. Different rain intensities are introduced as labels in conditional GAN (CGAN). Meanwhile, the model structure is optimized and the training strategy is adjusted to alleviate the problem of mode collapse. In addition, natural rain images of different intensities are collected and processed for model training and validation. Compared with the two baseline models, CycleGAN and DerainCycleGAN, the peak signal-to-noise ratio (PSNR) of RCCycleGAN on the test dataset is improved by 2.58 dB and 0.74 dB, and the structural similarity (SSIM) is improved by 18% and 8%, respectively. The ablation experiments are also carried out to validate the effectiveness of the model tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google