Crack-EdgeSAM Self-Prompting Crack Segmentation System for Edge Devices

要約

構造健全性モニタリング (SHM) は、コンクリート橋脚の亀裂などのインフラストラクチャの欠陥を早期に検出するために不可欠です。
しかし、複雑な環境では効率と精度の面で課題に直面することがよくあります。
Segment Anything Model (SAM) は優れたセグメンテーション パフォーマンスを実現しますが、その計算需要により、エッジ デバイス上のリアルタイム アプリケーションへの適合性が制限されます。
これらの課題に対処するために、この論文では、プロンプト ボックスを生成する YOLOv8 と亀裂セグメンテーション用の微調整された EdgeSAM モデルを統合する、自己プロンプト型亀裂セグメンテーション システムである Crack-EdgeSAM を提案します。
計算効率を確保するために、このメソッドでは、EdgeSAM モデルを微調整するための DiceFocalLoss とともに PEFT (Parameter-Efficient Fine-Tuning) 手法である ConvLoRA を採用しています。
公開データセットと登山ロボットの自動検査に関する実験結果は、このシステムが最新の手法と比較して高いセグメンテーション精度と大幅に向上した推論速度を実現していることを示しています。
特に、このシステムは 1024 x 1024 ピクセルの画像を PC では 46 FPS、Jetson Orin Nano では 8 FPS で処理します。

要約(オリジナル)

Structural health monitoring (SHM) is essential for the early detection of infrastructure defects, such as cracks in concrete bridge pier. but often faces challenges in efficiency and accuracy in complex environments. Although the Segment Anything Model (SAM) achieves excellent segmentation performance, its computational demands limit its suitability for real-time applications on edge devices. To address these challenges, this paper proposes Crack-EdgeSAM, a self-prompting crack segmentation system that integrates YOLOv8 for generating prompt boxes and a fine-tuned EdgeSAM model for crack segmentation. To ensure computational efficiency, the method employs ConvLoRA, a Parameter-Efficient Fine-Tuning (PEFT) technique, along with DiceFocalLoss to fine-tune the EdgeSAM model. Our experimental results on public datasets and the climbing robot automatic inspections demonstrate that the system achieves high segmentation accuracy and significantly enhanced inference speed compared to the most recent methods. Notably, the system processes 1024 x 1024 pixels images at 46 FPS on our PC and 8 FPS on Jetson Orin Nano.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google