Infrared Image Super-Resolution via Lightweight Information Split Network

要約

単一画像超解像度 (SR) は、劣化した低解像度画像から高解像度画像を再構築することを目的とした、確立されたピクセル レベルの視覚タスクです。
SR にディープ ニューラル ネットワークを活用することで顕著な進歩が達成されているにもかかわらず、既存のディープ ラーニング アーキテクチャのほとんどは膨大な数のレイヤーを備えているため、計算が複雑になり、大量のメモリが必要になります。
これらの問題は、赤外線デバイスには厳しいストレージと計算上の制約があることが多い赤外線画像 SR のコンテキストで特に顕著になります。
これらの課題を軽減するために、軽量情報分割ネットワーク (LISN) と呼ばれる、新規で効率的かつ正確な単一赤外線画像 SR モデルを導入します。
LISN は、浅い特徴抽出、深い特徴抽出、密な特徴融合、および高解像度赤外線画像再構成の 4 つの主要コンポーネントで構成されます。
このモデル内の重要な革新は、詳細な特徴抽出のための Lightweight Information Split Block (LISB) の導入です。
LISB は、逐次プロセスを使用して階層的な特徴を抽出し、その後、検討中の特徴の関連性に基づいて集計します。
LISB は、チャネル分割とシフト操作を統合することにより、強化された SR パフォーマンスと軽量フレームワークの間で最適なバランスをとることに成功しました。
包括的な実験評価により、提案された LISN が SR 品質とモデルの複雑さの両方の点で現代の最先端の手法よりも優れたパフォーマンスを達成していることが明らかになり、リソースに制約のある赤外線イメージング アプリケーションでの実用的な展開に対するその有効性が確認されました。

要約(オリジナル)

Single image super-resolution (SR) is an established pixel-level vision task aimed at reconstructing a high-resolution image from its degraded low-resolution counterpart. Despite the notable advancements achieved by leveraging deep neural networks for SR, most existing deep learning architectures feature an extensive number of layers, leading to high computational complexity and substantial memory demands. These issues become particularly pronounced in the context of infrared image SR, where infrared devices often have stringent storage and computational constraints. To mitigate these challenges, we introduce a novel, efficient, and precise single infrared image SR model, termed the Lightweight Information Split Network (LISN). The LISN comprises four main components: shallow feature extraction, deep feature extraction, dense feature fusion, and high-resolution infrared image reconstruction. A key innovation within this model is the introduction of the Lightweight Information Split Block (LISB) for deep feature extraction. The LISB employs a sequential process to extract hierarchical features, which are then aggregated based on the relevance of the features under consideration. By integrating channel splitting and shift operations, the LISB successfully strikes an optimal balance between enhanced SR performance and a lightweight framework. Comprehensive experimental evaluations reveal that the proposed LISN achieves superior performance over contemporary state-of-the-art methods in terms of both SR quality and model complexity, affirming its efficacy for practical deployment in resource-constrained infrared imaging applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google