MN-Pair Contrastive Damage Representation and Clustering for Prognostic Explanation

要約

インフラ管理者は、日々の運用においてユーザーの満足度を確保するために高い基準を維持することが不可欠です。
監視カメラとドローン検査により、損傷した機能の検査の自動化と劣化の健康状態の評価に向けた進歩が可能になりました。
生の画像と損傷クラス ラベルのペアを準備すると、教師あり学習を事前定義された損傷グレード、変位に向けてトレーニングできます。
ただし、このような損傷の表現は、定義済みの損傷等級のクラスと常に一致するとは限りません。そのため、目に見えない損傷空間からの詳細なクラスターや、2 つの損傷等級間の重複空間からのより複雑なクラスターが存在する可能性があります。
損傷表現は基本的に複雑な機能を持っているため、すべての損傷クラスを完全に事前定義することはできませんでした。
提案された MN ペアの対照的な学習方法により、より詳細なクラスターを含む事前定義されたクラスを超えて埋め込み損傷表現を探索することができます。
両方の重み付け損失関数を使用して、アンカーに近い M-1 個の正の画像の類似性を最大化し、同時に N-1 個の負の画像の非類似性を最大化します。
1 つのポジティブ イメージを使用する代わりに、N ペア アルゴリズムよりも高速に学習しています。
損傷表現を学習し、2-D リダクション空間で密度ベースのクラスタリングを使用して、より細かいクラスター識別を自動化するパイプラインを提案します。
また、MN ペア損傷メトリック学習に Grad-CAM を使用して、損傷特徴の説明を視覚化します。
鉄鋼製品の欠陥、デッキと舗装のコンクリートの亀裂、および下水道管の欠陥の3つの実験的研究で私たちの方法を実証し、その有効性に言及し、潜在的な将来の仕事について議論します。

要約(オリジナル)

It is essential for infrastructure managers to maintain a high standard to ensure user satisfaction during daily operations. Surveillance cameras and drone inspections have enabled progress toward automating the inspection of damaged features and assessing the health condition of the deterioration. When we prepare a pair of raw images and damage class labels, we can train supervised learning toward the predefined damage grade, displacement. However, such a damage representation does not constantly match the predefined classes of damage grade, hence, there may be some detailed clusters from the unseen damage space or more complex clusters from overlapped space between two damage grades. The damage representation has fundamentally complex features, consequently, all the damage classes could not be perfectly predefined. Our proposed MN-pair contrastive learning method enables us to explore the embedding damage representation beyond the predefined classes including more detailed clusters. It maximizes the similarity of M-1 positive images close to the anchor, and simultaneously maximize the dissimilarity of N-1 negative ones, using both weighting loss functions. It has been learning faster than the N-pair algorithm, instead of using one positive image. We propose a pipeline to learn damage representation and use density-based clustering on the 2-D reduction space to automate finer cluster discrimination. We also visualize the explanation of the damage feature using Grad-CAM for MN-pair damage metric learning. We demonstrate our method in three experimental studies: steel product defect, concrete crack of deck and pavement, and sewer pipe defect and mention its effectiveness and discuss potential future works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google