Reversible Decoupling Network for Single Image Reflection Removal

要約

シングルイメージの反射除去に対する最近の深部学習ベースのアプローチは、主に2つの理由で有望な進歩を示しています。1）入力としての認識基準機能の利用、および2）デュアルストリームインタラクションネットワークの設計。
ただし、情報の原則によれば、高レベルのセマンティックの手がかりは、レイヤーごとの伝播中に圧縮または破棄される傾向があります。
さらに、デュアルストリームネットワークの相互作用は、異なるレイヤーの固定パターンに従い、全体的なパフォーマンスを制限します。
これらの制限に対処するために、リバーシブルデカップリングネットワーク（RDNET）と呼ばれる新しいアーキテクチャを提案します。これは、リバーシブルエンコーダーを使用して貴重な情報を保護しながら、フォワードパス中に伝送と反射関連の機能を柔軟に分離します。
さらに、トランスミッションレート認識プロンプトジェネレーターをカスタマイズして、機能を動的に校正し、パフォーマンスをさらに高めます。
広範な実験は、5つの広く採用されているベンチマークデータセットの既存のSOTAメソッドに対するRDNETの優位性を示しています。
RDNETは、忠実度と知覚的比較の両方で、Wild ChallengeでNTIRE 2025単一画像反射除去で最高のパフォーマンスを達成します。
私たちのコードは、https：//github.com/lime-j/rdnetで入手できます

要約(オリジナル)

Recent deep-learning-based approaches to single-image reflection removal have shown promising advances, primarily for two reasons: 1) the utilization of recognition-pretrained features as inputs, and 2) the design of dual-stream interaction networks. However, according to the Information Bottleneck principle, high-level semantic clues tend to be compressed or discarded during layer-by-layer propagation. Additionally, interactions in dual-stream networks follow a fixed pattern across different layers, limiting overall performance. To address these limitations, we propose a novel architecture called Reversible Decoupling Network (RDNet), which employs a reversible encoder to secure valuable information while flexibly decoupling transmission- and reflection-relevant features during the forward pass. Furthermore, we customize a transmission-rate-aware prompt generator to dynamically calibrate features, further boosting performance. Extensive experiments demonstrate the superiority of RDNet over existing SOTA methods on five widely-adopted benchmark datasets. RDNet achieves the best performance in the NTIRE 2025 Single Image Reflection Removal in the Wild Challenge in both fidelity and perceptual comparison. Our code is available at https://github.com/lime-j/RDNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google