RCNet: Deep Recurrent Collaborative Network for Multi-View Low-Light Image Enhancement

要約

複数の視点からシーンを観察すると、より包括的な視覚体験がもたらされます。
ただし、暗闇で複数のビューを取得するという状況では、相関性の高いビューが著しく疎外されるため、補助ビューを使用してシーンの理解を向上させることが困難になります。
最近の単一画像ベースの強調方法では、異なるビュー間の潜在的な特徴の対応関係が無視されているため、すべてのビューに対して一貫して望ましい復元パフォーマンスを提供できない可能性があります。
この問題を軽減するために、私たちはマルチビューの低照度画像強調を調査する最初の試みを行います。
まず、広い照明範囲と広いノイズ分布を持つ 1,860 ペアのトリプル画像を含む、マルチビュー低光トリプレット (MVLT) と呼ばれる新しいデータセットを構築します。
各トリプレットには、同じシーンに対する 3 つの異なる視点が備わっています。
第 2 に、Recurrent Collaborative Network (RCNet) に基づいた深いマルチビュー拡張フレームワークを提案します。
具体的には、異なるビュー間での同様のテクスチャ対応の利点を活用するために、リカレント機能強化、位置合わせ、融合 (ReEAF) モジュールを設計します。
フュージョン (ビュー間 AF) は、マルチビュー コラボレーションを介してビュー内およびビュー間の特徴伝播を順次モデル化するために実行されます。
さらに、強化から調整まで (E2A) と調整から強化まで (A2E) の 2 つの異なるモジュールが開発され、ビュー内 EN とビュー間 AF の間の相互作用を可能にし、強化と調整のために注意深い特徴の重み付けとサンプリングを明示的に利用します。
、 それぞれ。
実験結果は、当社の RCNet が他の最先端の方法よりも大幅に優れていることを示しています。
データセット、コード、モデルはすべて https://github.com/hluo29/RCNet で入手できます。

要約(オリジナル)

Scene observation from multiple perspectives would bring a more comprehensive visual experience. However, in the context of acquiring multiple views in the dark, the highly correlated views are seriously alienated, making it challenging to improve scene understanding with auxiliary views. Recent single image-based enhancement methods may not be able to provide consistently desirable restoration performance for all views due to the ignorance of potential feature correspondence among different views. To alleviate this issue, we make the first attempt to investigate multi-view low-light image enhancement. First, we construct a new dataset called Multi-View Low-light Triplets (MVLT), including 1,860 pairs of triple images with large illumination ranges and wide noise distribution. Each triplet is equipped with three different viewpoints towards the same scene. Second, we propose a deep multi-view enhancement framework based on the Recurrent Collaborative Network (RCNet). Specifically, in order to benefit from similar texture correspondence across different views, we design the recurrent feature enhancement, alignment and fusion (ReEAF) module, in which intra-view feature enhancement (Intra-view EN) followed by inter-view feature alignment and fusion (Inter-view AF) is performed to model the intra-view and inter-view feature propagation sequentially via multi-view collaboration. In addition, two different modules from enhancement to alignment (E2A) and from alignment to enhancement (A2E) are developed to enable the interactions between Intra-view EN and Inter-view AF, which explicitly utilize attentive feature weighting and sampling for enhancement and alignment, respectively. Experimental results demonstrate that our RCNet significantly outperforms other state-of-the-art methods. All of our dataset, code, and model will be available at https://github.com/hluo29/RCNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google