CrackNex: a Few-shot Low-light Crack Segmentation Model Based on Retinex Theory for UAV Inspections

要約

コンクリート構造物の定期的な目視検査は、重要なインフラの安全性と完全性を維持するために不可欠です。
このような目視検査は、橋の健全性のチェックなど、暗い環境で行われることがあります。
このような条件下での亀裂の分割は、亀裂とその周囲のコントラストが低いため困難です。
ただし、ほとんどの深層学習手法は十分に照明された亀裂画像用に設計されているため、低照度のシーンではパフォーマンスが大幅に低下します。
さらに、従来のアプローチでは、注釈付きの低照度亀裂画像を多数必要とするため、時間がかかります。
この論文では、Retinex 理論に基づいた反射率情報を利用してモデルが統一された照明不変表現を学習できるようにするフレームワークである CrackNex を提案することで、これらの課題に対処します。
さらに、非効率なトレーニング データの問題を解決するために少数ショット セグメンテーションを利用します。
CrackNex では、サポート プロトタイプと反射率プロトタイプの両方がサポート セットから抽出されます。
次に、両方のプロトタイプの機能を統合するプロトタイプ融合モジュールが設計されます。
CrackNex は、複数のデータセットに対して SOTA メソッドよりも優れたパフォーマンスを発揮します。
さらに、低照度亀裂セグメンテーション用の最初のベンチマーク データセット LCSD も紹介します。
LCSD は、102 枚の十分に照明された亀裂画像と 41 枚の低照度亀裂画像で構成されます。
データセットとコードは https://github.com/zy1296/CrackNex で入手できます。

要約(オリジナル)

Routine visual inspections of concrete structures are imperative for upholding the safety and integrity of critical infrastructure. Such visual inspections sometimes happen under low-light conditions, e.g., checking for bridge health. Crack segmentation under such conditions is challenging due to the poor contrast between cracks and their surroundings. However, most deep learning methods are designed for well-illuminated crack images and hence their performance drops dramatically in low-light scenes. In addition, conventional approaches require many annotated low-light crack images which is time-consuming. In this paper, we address these challenges by proposing CrackNex, a framework that utilizes reflectance information based on Retinex Theory to help the model learn a unified illumination-invariant representation. Furthermore, we utilize few-shot segmentation to solve the inefficient training data problem. In CrackNex, both a support prototype and a reflectance prototype are extracted from the support set. Then, a prototype fusion module is designed to integrate the features from both prototypes. CrackNex outperforms the SOTA methods on multiple datasets. Additionally, we present the first benchmark dataset, LCSD, for low-light crack segmentation. LCSD consists of 102 well-illuminated crack images and 41 low-light crack images. The dataset and code are available at https://github.com/zy1296/CrackNex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google