RT-X Net: RGB-Thermal cross attention network for Low-Light Image Enhancement

要約

夜間の状態では、高い騒音レベルと明るい照明ソースが画質を分解し、低光の画像強化を困難にします。
サーマル画像は補完的な情報を提供し、より豊かなテクスチャと構造の詳細を提供します。
夜間の画像強化のためにRGBとサーマルイメージを融合するクロスアテンションネットワークであるRT-X Netを提案します。
特徴抽出のための自己関節ネットワークを活用し、融合の分析メカニズムを活用して、両方のモダリティから情報を効果的に統合します。
このドメインでの研究をサポートするために、多様な夜間条件下でキャプチャされた50の共同配置された可視画像とサーマル画像を含む可視イメージエンハンスメント評価（V-TIEE）データセットを紹介します。
公開されているLLVIPデータセットとV-Tieeデータセットに関する広範な評価は、RT-X Netが低光度画像強化の最先端の方法を上回ることを示しています。
コードとV-Tieeは、https：//github.com/jhakrraman/rt-xnetにあります。

要約(オリジナル)

In nighttime conditions, high noise levels and bright illumination sources degrade image quality, making low-light image enhancement challenging. Thermal images provide complementary information, offering richer textures and structural details. We propose RT-X Net, a cross-attention network that fuses RGB and thermal images for nighttime image enhancement. We leverage self-attention networks for feature extraction and a cross-attention mechanism for fusion to effectively integrate information from both modalities. To support research in this domain, we introduce the Visible-Thermal Image Enhancement Evaluation (V-TIEE) dataset, comprising 50 co-located visible and thermal images captured under diverse nighttime conditions. Extensive evaluations on the publicly available LLVIP dataset and our V-TIEE dataset demonstrate that RT-X Net outperforms state-of-the-art methods in low-light image enhancement. The code and the V-TIEE can be found here https://github.com/jhakrraman/rt-xnet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google