FlexiCrackNet: A Flexible Pipeline for Enhanced Crack Segmentation with General Features Transfered from SAM

要約

自動亀裂セグメンテーションは、交通安全維持と構造の完全性システムにおけるインテリジェントな視覚認識モジュールのための基礎技術です。
既存の深い学習モデルと「トレーニング前 +微調整」パラダイムは、リソースに制約のある環境での限られた適応性の課題と、多様なデータドメイン全体での不十分なスケーラビリティに直面することがよくあります。
これらの制限を克服するために、従来の深い学習パラダイムを大規模な事前訓練モデルの強さをシームレスに統合する新しいパイプラインであるFlexicRackNetを提案します。
そのコアでは、FlexicRackNetはエンコーダデコーダーアーキテクチャを採用して、タスク固有の機能を抽出します。
軽量のEdgesamのCNNベースのエンコーダーは、EdgesAMの固定入力サイズ要件から分離された一般的な特徴抽出器としてのみ使用されます。
一般的およびドメイン固有の機能を調和させるために、情報相互作用ゲート注意メカニズム（IGAM）を導入します。これは、マルチレベルの特徴を適応的に融合してセグメンテーションパフォーマンスを強化し、無関係なノイズを軽減します。
この設計により、一般的な知識の効率的な転送がセグメンテーションタスクをクラックしながら、多様な入力解像度とリソース制約の環境への適応性を確保できます。
実験は、FlexicRackNetが最先端の方法を上回り、ぼやけた入力、複雑な背景、視覚的に曖昧なアーティファクトなどの挑戦的なシナリオの下で、ゼロショットの一般化、計算効率、およびセグメンテーションの堅牢性に優れていることを示しています。
これらの進歩は、自動亀裂検出および包括的な構造的健康監視システムにおける実際のアプリケーションのFlexicRackNetの可能性を強調しています。

要約(オリジナル)

Automatic crack segmentation is a cornerstone technology for intelligent visual perception modules in road safety maintenance and structural integrity systems. Existing deep learning models and “pre-training + fine-tuning” paradigms often face challenges of limited adaptability in resource-constrained environments and inadequate scalability across diverse data domains. To overcome these limitations, we propose FlexiCrackNet, a novel pipeline that seamlessly integrates traditional deep learning paradigms with the strengths of large-scale pre-trained models. At its core, FlexiCrackNet employs an encoder-decoder architecture to extract task-specific features. The lightweight EdgeSAM’s CNN-based encoder is exclusively used as a generic feature extractor, decoupled from the fixed input size requirements of EdgeSAM. To harmonize general and domain-specific features, we introduce the information-Interaction gated attention mechanism (IGAM), which adaptively fuses multi-level features to enhance segmentation performance while mitigating irrelevant noise. This design enables the efficient transfer of general knowledge to crack segmentation tasks while ensuring adaptability to diverse input resolutions and resource-constrained environments. Experiments show that FlexiCrackNet outperforms state-of-the-art methods, excels in zero-shot generalization, computational efficiency, and segmentation robustness under challenging scenarios such as blurry inputs, complex backgrounds, and visually ambiguous artifacts. These advancements underscore the potential of FlexiCrackNet for real-world applications in automated crack detection and comprehensive structural health monitoring systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google