GTAV-NightRain: Photometric Realistic Large-scale Dataset for Night-time Rain Streak Removal

要約

雨は透明で、シーン内の光をカメラに反射および屈折させます。
屋外の視覚では、雨、特に雨の筋は視認性を低下させるため、除去する必要があります。
既存の雨すじ除去データセットでは、密度、規模、方向、強度は考慮されていますが、透明度は十分に考慮されていません。
この問題は、雨の出現がシーンの照明との相互作用に大きく依存し、画像内のさまざまな位置で大幅に変化する夜間シーンで特に深刻です。
非現実的なデータセットは深刻なドメイン バイアスを引き起こすため、これは問題です。
この論文では、大規模な合成夜間雨筋除去データセットである GTAV-NightRain データセットを提案します。
既存のデータセットとは異なり、3D コンピューター グラフィック プラットフォーム (つまり GTA V) を使用することで、雨とイルミネーションの間の 3 次元の相互作用を推測することができ、測光の現実性が保証されます。
データセットの現在のリリースには、12,860 枚の HD 雨画像と、多様な夜景の 1,286 枚の対応する HD グラウンド トゥルース画像が含まれています。
体系的なベンチマークと分析がデータセットとともに提供され、さらなる研究を刺激します。

要約(オリジナル)

Rain is transparent, which reflects and refracts light in the scene to the camera. In outdoor vision, rain, especially rain streaks degrade visibility and therefore need to be removed. In existing rain streak removal datasets, although density, scale, direction and intensity have been considered, transparency is not fully taken into account. This problem is particularly serious in night scenes, where the appearance of rain largely depends on the interaction with scene illuminations and changes drastically on different positions within the image. This is problematic, because unrealistic dataset causes serious domain bias. In this paper, we propose GTAV-NightRain dataset, which is a large-scale synthetic night-time rain streak removal dataset. Unlike existing datasets, by using 3D computer graphic platform (namely GTA V), we are allowed to infer the three dimensional interaction between rain and illuminations, which insures the photometric realness. Current release of the dataset contains 12,860 HD rainy images and 1,286 corresponding HD ground truth images in diversified night scenes. A systematic benchmark and analysis are provided along with the dataset to inspire further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google