SufrinNet: Toward Sufficient Cross-View Interaction for Stereo Image Enhancement in The Dark

要約

低照度ステレオ画像強調（LLSIE）は、暗い状況で撮影された視覚的に不快なステレオ画像の品質を向上させるための比較的新しいタスクです。これまでのところ、深層LLSIEに関する研究は非常に少ないが、これはある種の困難な問題、すなわち、このタスクがうまく対処されていないためであり、現在の方法は明らかに2つの不足に悩まされている。1) 視点間相互作用が不十分であること、2) 視点内学習のための長距離依存性がないこと。そこで本論文では、新しいLLSIEモデル(SufrinNet)を提案します。具体的には、ビュー間の情報交換を強化するための十分なビュー間相互作用モジュール(SIIM)を提示する。SIIMは、異なるスケールでのクロスビュー相関を発見するだけでなく、クロススケールでの情報相互作用を探索する。その上、ビュー内特徴抽出のための空間チャネル情報マイニングブロック（SIMB）を提示し、その利点は2つある。一つは、空間的な長距離関係を構築する長距離依存性の捕捉であり、もう一つは、チャネル次元の情報フローを強化する拡張チャネル情報の精緻化である。Flickr1024、KITTI 2012、KITTI 2015、Middleburyデータセットでの広範な実験により、我々の手法は他の関連手法と比較して、より優れた照明調整とディテール回復を獲得し、SOTAパフォーマンスを達成することが示されました。我々のコード、データセット、モデルは一般に公開される予定です。

要約(オリジナル)

Low-light stereo image enhancement (LLSIE) is a relatively new task to enhance the quality of visually unpleasant stereo images captured in dark conditions. So far, very few studies on deep LLSIE have been explored due to certain challenging issues, i.e., the task has not been well addressed, and current methods clearly suffer from two shortages: 1) insufficient cross-view interaction; 2) lacking long-range dependency for intra-view learning. In this paper, we therefore propose a novel LLSIE model, termed \underline{Suf}ficient C\underline{r}oss-View \underline{In}teraction Network (SufrinNet). To be specific, we present sufficient inter-view interaction module (SIIM) to enhance the information exchange across views. SIIM not only discovers the cross-view correlations at different scales, but also explores the cross-scale information interaction. Besides, we present a spatial-channel information mining block (SIMB) for intra-view feature extraction, and the benefits are twofold. One is the long-range dependency capture to build spatial long-range relationship, and the other is expanded channel information refinement that enhances information flow in channel dimension. Extensive experiments on Flickr1024, KITTI 2012, KITTI 2015 and Middlebury datasets show that our method obtains better illumination adjustment and detail recovery, and achieves SOTA performance compared to other related methods. Our codes, datasets and models will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL