Unified Few-shot Crack Segmentation and its Precise 3D Automatic Measurement in Concrete Structures

要約

視覚空間システムは、コンクリートのひび割れ検査においてますます不可欠になっています。
しかし、既存の方法は、多くの場合、多様なシナリオへの適応性に欠け、画像ベースのアプローチでは堅牢性が限られており、湾曲した形状や複雑な形状に苦戦します。
これらの制限に対処するために、コンピューター ビジョン テクノロジとマルチモーダル同時位置特定およびマッピング (SLAM) を統合することにより、2 次元 (2D) 亀裂検出、3 次元 (3D) 再構成、および 3D 自動亀裂測定のための革新的なフレームワークが提案されました。
この研究。
まず、ベースの DeepLabv3+ セグメンテーション モデルを基盤として構築し、基礎モデルのセグメント エニシング モデル (SAM) を利用した特定の改良を組み込むことで、不慣れなシナリオ全体にわたって強力な一般化を備えた亀裂セグメンテーション手法を開発し、正確な 2D 亀裂マスクの生成を可能にしました。
3D 再構成の精度と堅牢性を強化するために、Light Detection and Ranging (LiDAR) 点群が画像データおよびセグメンテーション マスクとともに利用されました。
画像と LiDAR-SLAM の両方を活用することで、高密度で色付けされた点群を生成し、3D 現実世界スケールでクラック セマンティクスを効果的にキャプチャするマルチフレームおよびマルチモーダル融合フレームワークを開発しました。
さらに、亀裂の幾何学的属性は 3D 密集点群空間内で自動的かつ直接測定され、従来の 2D 画像ベースの測定の限界を超えました。
この進歩により、この方法は湾曲した複雑な 3D 形状を持つ構造コンポーネントに適したものになります。
さまざまなコンクリート構造物にわたる実験結果は、提案された方法の大幅な改善と独自の利点を強調し、実際のアプリケーションにおけるその有効性、精度、堅牢性を実証しています。

要約(オリジナル)

Visual-Spatial Systems has become increasingly essential in concrete crack inspection. However, existing methods often lacks adaptability to diverse scenarios, exhibits limited robustness in image-based approaches, and struggles with curved or complex geometries. To address these limitations, an innovative framework for two-dimensional (2D) crack detection, three-dimensional (3D) reconstruction, and 3D automatic crack measurement was proposed by integrating computer vision technologies and multi-modal Simultaneous localization and mapping (SLAM) in this study. Firstly, building on a base DeepLabv3+ segmentation model, and incorporating specific refinements utilizing foundation model Segment Anything Model (SAM), we developed a crack segmentation method with strong generalization across unfamiliar scenarios, enabling the generation of precise 2D crack masks. To enhance the accuracy and robustness of 3D reconstruction, Light Detection and Ranging (LiDAR) point clouds were utilized together with image data and segmentation masks. By leveraging both image- and LiDAR-SLAM, we developed a multi-frame and multi-modal fusion framework that produces dense, colorized point clouds, effectively capturing crack semantics at a 3D real-world scale. Furthermore, the crack geometric attributions were measured automatically and directly within 3D dense point cloud space, surpassing the limitations of conventional 2D image-based measurements. This advancement makes the method suitable for structural components with curved and complex 3D geometries. Experimental results across various concrete structures highlight the significant improvements and unique advantages of the proposed method, demonstrating its effectiveness, accuracy, and robustness in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google