Video Waterdrop Removal via Spatio-Temporal Fusion in Driving Scenes

要約

運転中にフロントガラスに水滴がつくと、視界が著しく妨げられ、交通事故につながる可能性があります。
一方で、水滴は自動運転におけるコンピューター ビジョン システムのパフォーマンスを低下させる可能性もあります。
これらの問題に対処するために、複数のフレームからの時空間表現を融合して水滴によって遮られた視覚情報を復元する注意ベースのフレームワークを提案します。
ビデオの水滴除去のためのトレーニング データが不足しているため、雨の日の複雑な運転シーンで水滴をシミュレートした大規模な合成データセットを提案します。
提案された方法の一般性を改善するために、合成ビデオと実世界の画像を組み合わせたクロスモダリティトレーニング戦略を採用します。
広範な実験により、提案された方法がうまく一般化し、複雑な実世界の運転シーンで最高の水滴除去性能を達成できることが示されています。

要約(オリジナル)

The waterdrops on windshields during driving can cause severe visual obstructions, which may lead to car accidents. Meanwhile, the waterdrops can also degrade the performance of a computer vision system in autonomous driving. To address these issues, we propose an attention-based framework that fuses the spatio-temporal representations from multiple frames to restore visual information occluded by waterdrops. Due to the lack of training data for video waterdrop removal, we propose a large-scale synthetic dataset with simulated waterdrops in complex driving scenes on rainy days. To improve the generality of our proposed method, we adopt a cross-modality training strategy that combines synthetic videos and real-world images. Extensive experiments show that our proposed method can generalize well and achieve the best waterdrop removal performance in complex real-world driving scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google