Why current rain denoising models fail on CycleGAN created rain images in autonomous driving

要約

車両内の自律エージェントの主なタスクの 1 つは、その環境を正しく認識することです。
処理が必要なデータの多くは、カメラなどの光学センサーによって収集されます。
残念ながら、この方法で収集されたデータは、悪天候 (雨など) などの環境の影響を含むさまざまな要因の影響を受ける可能性があります。
このようなノイズの多いデータにより、自律エージェントが誤った決定を下し、致命的な結果を招く可能性があります。
この論文では、雨の画像の課題に 2 つのステップで対処します。まず、敵対的生成ネットワーク (GAN) を使用して、晴天条件の画像のセットに人工的に雨を追加します。
これにより、除雨モデルをトレーニングするための好天/悪天候の画像ペアが生成されます。
この人工的に生成された雨画像は十分に現実的であり、10 件中 7 件の場合、人間の被験者は生成された雨画像が本物であると信じていました。
2 番目のステップでは、この好天と悪天候のペアの画像データを使用して 2 つの雨ノイズ除去モデルをトレーニングします。1 つは主に畳み込みニューラル ネットワーク (CNN) に基づき、もう 1 つはビジョン トランスフォーマーを使用します。
この雨によるノイズ除去ステップでは、品質の向上が約 15% にすぎず、パフォーマンスが限定的でした。
私たちの研究で使用されているような現実的な雨画像でのパフォーマンスの欠如は、単純化された雨オーバーレイ データ用に開発されている現在の雨ノイズ除去モデルによるものと考えられます。
私たちの研究は、自動運転における雨抜きモデルには改善の余地が十分にあることを示しています。

要約(オリジナル)

One of the main tasks of an autonomous agent in a vehicle is to correctly perceive its environment. Much of the data that needs to be processed is collected by optical sensors such as cameras. Unfortunately, the data collected in this way can be affected by a variety of factors, including environmental influences such as inclement weather conditions (e.g., rain). Such noisy data can cause autonomous agents to take wrong decisions with potentially fatal outcomes. This paper addresses the rain image challenge by two steps: First, rain is artificially added to a set of clear-weather condition images using a Generative Adversarial Network (GAN). This yields good/bad weather image pairs for training de-raining models. This artificial generation of rain images is sufficiently realistic as in 7 out of 10 cases, human test subjects believed the generated rain images to be real. In a second step, this paired good/bad weather image data is used to train two rain denoising models, one based primarily on a Convolutional Neural Network (CNN) and the other using a Vision Transformer. This rain de-noising step showed limited performance as the quality gain was only about 15%. This lack of performance on realistic rain images as used in our study is likely due to current rain de-noising models being developed for simplistic rain overlay data. Our study shows that there is ample space for improvement of de-raining models in autonomous driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google