SAM-based instance segmentation models for the automation of structural damage detection

要約

土木構造物の外観に基づいて欠陥を捕捉するための目視検査を自動化することは、現状では労働集約的で時間のかかる性質があるため、非常に重要です。
自動検査の重要な側面は画像取得であり、近年のソフトウェアとハ​​ードウェアの両方のコンピューティングの普及を考慮すると、画像取得は迅速かつコスト効率が高くなります。
これまでの研究は主にコンクリートとアスファルトに焦点を当てており、石材の亀裂にはあまり注目していませんでした。
後者には、公的に利用可能なデータセットもありません。
この論文では、まず、レンガ、壊れたレンガ、亀裂をカバーする、MCrack1300 という名前の 1,300 枚の注釈付き画像 (640 ピクセル x 640 ピクセル) を含むセグメンテーションの対応するデータ セットを提示します。
次に、最新の大規模モデルであるプロンプトベースのセグメント エニシング モデル (SAM) を含む、ベンチマーク用のいくつかの主要なアルゴリズムをテストします。
私たちは、低ランク適応 (LoRA) を使用してエンコーダーを微調整し、SAM 実行を自動化するための 2 つの新しい方法を提案しました。
最初の方法では、プロンプト エンコーダーを放棄して SAM エンコーダーを他のデコーダーに接続します。2 番目の方法では、学習可能な自己生成プロンプターを導入します。
提案された 2 つの方法と SAM エンコーダ セクションをシームレスに統合するために、特徴抽出器を再設計しました。
提案された両方の方法は、最先端のパフォーマンスを上回り、すべてのクラスで約 3%、特にクラックで約 6% 最高のベンチマークを上回っています。
成功した検出に基づいて、単眼カメラとハフ ライン変換に基づいて画像を正投影マップに自動的に変換する方法を提案します。
レンガユニットの既知の実際のサイズを組み込むことにより、亀裂の寸法を正確に推定し、結果はレーザースキャンによって得られた結果と 10% 未満の差でした。
全体として、私たちは自動化された石材の亀裂検出とサイズ推定における重要な研究ギャップに対処します。

要約(オリジナル)

Automating visual inspection for capturing defects based on civil structures appearance is crucial due to its currently labour-intensive and time-consuming nature. An important aspect of automated inspection is image acquisition, which is rapid and cost-effective considering the pervasive developments in both software and hardware computing in recent years. Previous studies largely focused on concrete and asphalt, with less attention to masonry cracks. The latter also lacks publicly available datasets. In this paper, we first present a corresponding data set for instance segmentation with 1,300 annotated images (640 pixels x 640 pixels), named as MCrack1300, covering bricks, broken bricks, and cracks. We then test several leading algorithms for benchmarking, including the latest large-scale model, the prompt-based Segment Anything Model (SAM). We fine-tune the encoder using Low-Rank Adaptation (LoRA) and proposed two novel methods for automation of SAM execution. The first method involves abandoning the prompt encoder and connecting the SAM encoder to other decoders, while the second method introduces a learnable self-generating prompter. In order to ensure the seamless integration of the two proposed methods with SAM encoder section, we redesign the feature extractor. Both proposed methods exceed state-of-the-art performance, surpassing the best benchmark by approximately 3% for all classes and around 6% for cracks specifically. Based on successful detection, we propose a method based on a monocular camera and the Hough Line Transform to automatically transform images into orthographic projection maps. By incorporating known real sizes of brick units, we accurately estimate crack dimensions, with the results differing by less than 10% from those obtained by laser scanning. Overall, we address important research gaps in automated masonry crack detection and size estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google