Sewer Image Super-Resolution with Depth Priors and Its Lightweight Network

要約

クイックビュー（QV）手法は、下水道システム内の欠陥を検出するための主要な方法として機能します。
ただし、QVの有効性は、そのハードウェアの視覚範囲が限られているため、下水道ネットワークの遠い部分の最適ではない画質をもたらします。
画像の超解像度は、画質を向上させる効果的な方法であり、さまざまなシーンで適用されています。
ただし、下水道画像の超解像度に関する研究は、かなり未開拓のままです。
これに応じて、この研究では、QV画像内に存在する固有の深さ関係を活用し、DSRNETとして示される新しい深度誘導ベースのスーパー解像度フレームワークを導入します。
深度抽出モジュールと深度情報マッチングモジュール（DMM）の2つのコアコンポーネントで構成されています。
DSRNETは、低解像度画像の隣接するフレームを参照画像として使用し、相関に基づいてテクスチャ情報を回復するのに役立ちます。
これらのモジュールを組み合わせることにより、深度プライアーの統合により、視覚品質とパフォーマンスの両方のベンチマークが大幅に向上します。
その上、計算効率とコンパクトさを追求するために、注意メカニズムに基づく超解像度の知識蒸留モデルが導入されます。
このメカニズムは、より複雑な教師モデルと合理化された学生モデルの間の特徴の類似性の獲得を促進し、後者はDSRNETの軽量バージョンです。
実験結果は、DSRNETが他の方法と比較してPSNRおよびSSIMを大幅に改善することを示しています。
この研究では、パイプデータセットと下水道MLデータセットの下水道欠陥セマンティックセグメンテーション、オブジェクト検出、および分類に関する実験も実施しています。
実験は、この方法がこれらのタスクで低解像度下水道画像のパフォーマンスを改善できることを示しています。

要約(オリジナル)

The Quick-view (QV) technique serves as a primary method for detecting defects within sewerage systems. However, the effectiveness of QV is impeded by the limited visual range of its hardware, resulting in suboptimal image quality for distant portions of the sewer network. Image super-resolution is an effective way to improve image quality and has been applied in a variety of scenes. However, research on super-resolution for sewer images remains considerably unexplored. In response, this study leverages the inherent depth relationships present within QV images and introduces a novel Depth-guided, Reference-based Super-Resolution framework denoted as DSRNet. It comprises two core components: a depth extraction module and a depth information matching module (DMM). DSRNet utilizes the adjacent frames of the low-resolution image as reference images and helps them recover texture information based on the correlation. By combining these modules, the integration of depth priors significantly enhances both visual quality and performance benchmarks. Besides, in pursuit of computational efficiency and compactness, a super-resolution knowledge distillation model based on an attention mechanism is introduced. This mechanism facilitates the acquisition of feature similarity between a more complex teacher model and a streamlined student model, with the latter being a lightweight version of DSRNet. Experimental results demonstrate that DSRNet significantly improves PSNR and SSIM compared with other methods. This study also conducts experiments on sewer defect semantic segmentation, object detection, and classification on the Pipe dataset and Sewer-ML dataset. Experiments show that the method can improve the performance of low-resolution sewer images in these tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google