Reversible Decoupling Network for Single Image Reflection Removal

要約

単一画像の反射除去に対する最近の深層学習ベースのアプローチは、主に 2 つの理由により、有望な進歩を示しています。1) 認識事前学習済みの特徴を入力として利用すること、2) デュアルストリーム インタラクション ネットワークの設計。
ただし、情報ボトルネックの原則によれば、高レベルの意味論的な手がかりは、レイヤーごとの伝播中に圧縮または破棄される傾向があります。
さらに、デュアルストリーム ネットワークでのインタラクションはさまざまなレイヤー間で固定パターンに従い、全体的なパフォーマンスが制限されます。
これらの制限に対処するために、私たちは可逆デカップリング ネットワーク (RDNet) と呼ばれる新しいアーキテクチャを提案します。このアーキテクチャは、可逆エンコーダを採用して貴重な情報を保護しながら、転送パス中に送信および反射関連の機能を柔軟にデカップリングします。
さらに、伝送速度を考慮したプロンプト ジェネレーターをカスタマイズして機能を動的に調整し、パフォーマンスをさらに向上させます。
広範な実験により、広く採用されている 5 つのベンチマーク データセットにおける既存の SOTA 手法に対する RDNet の優位性が実証されています。
私たちのコードは公開されます。

要約(オリジナル)

Recent deep-learning-based approaches to single-image reflection removal have shown promising advances, primarily for two reasons: 1) the utilization of recognition-pretrained features as inputs, and 2) the design of dual-stream interaction networks. However, according to the Information Bottleneck principle, high-level semantic clues tend to be compressed or discarded during layer-by-layer propagation. Additionally, interactions in dual-stream networks follow a fixed pattern across different layers, limiting overall performance. To address these limitations, we propose a novel architecture called Reversible Decoupling Network (RDNet), which employs a reversible encoder to secure valuable information while flexibly decoupling transmission- and reflection-relevant features during the forward pass. Furthermore, we customize a transmission-rate-aware prompt generator to dynamically calibrate features, further boosting performance. Extensive experiments demonstrate the superiority of RDNet over existing SOTA methods on five widely-adopted benchmark datasets. Our code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google