IRFusionFormer: Enhancing Pavement Crack Segmentation with RGB-T Fusion and Topological-Based Loss

要約

亀裂のセグメント化は、土木工学において、特に舗装の完全性を評価し、インフラストラクチャの耐久性を確保するために重要です。
ディープラーニングは RGB ベースのセグメンテーションを進化させていますが、低照度やモーション ブラーなどの悪条件下ではパフォーマンスが低下します。
サーマルイメージングは​​、放出された放射線を捕捉することで補完的な情報を提供し、困難な環境での亀裂検出を向上させます。
RGB 画像と熱画像 (RGB-T) を組み合わせて亀裂をセグメンテーションすることは、悪天候などの複雑な現実世界の状況において有望であることが示されていますが、この分野での研究は依然として限られています。
現在の RGB-T セグメンテーション手法では、さまざまなレベルの相互作用におけるモダリティ間の補完関係を十分に活用できないことがよくあります。
これに対処するために、RGB データと熱データを効果的に統合する亀裂セグメンテーションの新しいモデルである IRFusionFormer を提案します。
当社の効率的な RGB-T クロス フュージョン モジュールは、大幅な計算オーバーヘッドを発生させることなく、モダリティ間のマルチスケール関係と長距離依存関係をキャプチャします。
さらに、インタラクション-ハイブリッド-ブランチ-スーパービジョンフレームワークを導入します。これは、共同監視を使用して融合された機能をブランチ全体に分散することにより、モダリティ間のインタラクションを強化します。
亀裂のトポロジー構造を維持するために、トレーニング中に接続性を維持する新しいトポロジーベースの損失関数を導入します。
私たちの手法は、Dice スコア 90.01%、IoU 81.83% という最先端のパフォーマンスを達成し、さまざまな環境条件における堅牢性と精度を大幅に向上させます。
これらの進歩は、舗装亀裂のセグメンテーションにおける主要な課題に対処し、より信頼性が高く効率的なソリューションを提供します。
この研究のコード、データ、モデルにアクセスするには、https://github.com/sheauhuu/IRFusionFormer にアクセスしてください。

要約(オリジナル)

Crack segmentation is crucial in civil engineering, particularly for assessing pavement integrity and ensuring the durability of infrastructure. While deep learning has advanced RGB-based segmentation, performance degrades under adverse conditions like low illumination or motion blur. Thermal imaging offers complementary information by capturing emitted radiation, improving crack detection in challenging environments. Combining RGB and thermal images (RGB-T) for crack segmentation shows promise in complex real-world conditions, such as adverse weather, yet research in this area remains limited. Current RGB-T segmentation methods often fail to fully exploit the complementary relationships between modalities at various levels of interaction. To address this, we propose IRFusionFormer, a novel model for crack segmentation that effectively integrates RGB and thermal data. Our Efficient RGB-T Cross Fusion Module captures multi-scale relationships and long-range dependencies between modalities without significant computational overhead. Additionally, we introduce the Interaction-Hybrid-Branch-Supervision framework, which enhances interaction between modalities by distributing fused features across branches with joint supervision. To maintain the topological structure of cracks, we introduce a novel topology-based loss function that preserves connectivity during training. Our method achieves state-of-the-art performance, with a Dice score of 90.01% and an IoU of 81.83%, significantly improving robustness and accuracy in varying environmental conditions. These advancements address key challenges in pavement crack segmentation, offering a more reliable and efficient solution. For access to the codes, data, and models from this study, visit https://github.com/sheauhuu/IRFusionFormer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google