From Sky to the Ground: A Large-scale Benchmark and Simple Baseline Towards Real Rain Removal

要約

学習ベースのイメージ脱レイン法は大きな進歩を遂げました。
ただし、大規模で高品質のペアのトレーニング サンプルが不足していることが、実像ディレイン (RID) を妨げる主なボトルネックとなっています。
このジレンマに対処し、RID を進めるために、100 万の高解像度 (1920*1080) フレーム ペアを持つ 3000 のビデオ シーケンスを含む、大規模で高品質のペアのリアル雨ベンチマーク (LHP-Rain) を構築します。
既存のデータセットに対する提案されたデータセットの利点は 3 つあります。より多様性と大規模な雨、より高解像度で高品質のグラウンドトゥルースを備えた画像です。
具体的には、LHP-Rain の実際の雨には、空の古典的な雨筋/ベール/オクルージョンだけでなく、脱水コミュニティによって見落とされている \textbf{地面のしぶき}も含まれています。
さらに、動的雨から静的背景をより適切に分離して GT を生成するための、新しいロバストな低ランク テンソル回復モデルを提案します。
さらに、単純なトランスフォーマーベースの単一画像ディレインベースラインを設計します。これは、識別特徴表現を備えた画像およびレインレイヤー内の自己注意とクロスレイヤー注意を同時に利用します。
広範な実験により、提案されたデータセットと排水手法が最先端のものよりも優れていることが検証されています。

要約(オリジナル)

Learning-based image deraining methods have made great progress. However, the lack of large-scale high-quality paired training samples is the main bottleneck to hamper the real image deraining (RID). To address this dilemma and advance RID, we construct a Large-scale High-quality Paired real rain benchmark (LHP-Rain), including 3000 video sequences with 1 million high-resolution (1920*1080) frame pairs. The advantages of the proposed dataset over the existing ones are three-fold: rain with higher-diversity and larger-scale, image with higher-resolution and higher-quality ground-truth. Specifically, the real rains in LHP-Rain not only contain the classical rain streak/veiling/occlusion in the sky, but also the \textbf{splashing on the ground} overlooked by deraining community. Moreover, we propose a novel robust low-rank tensor recovery model to generate the GT with better separating the static background from the dynamic rain. In addition, we design a simple transformer-based single image deraining baseline, which simultaneously utilize the self-attention and cross-layer attention within the image and rain layer with discriminative feature representation. Extensive experiments verify the superiority of the proposed dataset and deraining method over state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google