Dual Attention U-Net with Feature Infusion: Pushing the Boundaries of Multiclass Defect Segmentation

要約

提案されたアーキテクチャである Dual Attentive U-Net with Feature Infusion (DAU-FI Net) は、セマンティック セグメンテーション、特にサンプルが限られたマルチクラスの不均衡なデータセットにおける課題に対処します。
DAU-FI Net は、マルチスケールの空間チャネル アテンション メカニズムと特徴注入を統合して、オブジェクトの位置特定の精度を高めます。
このコアは、マルチスケールの深さ分離可能な畳み込みブロックを採用し、スケール全体で局所的なパターンをキャプチャします。
このブロックは、空間チャネル スクイーズおよび励起 (scSE) アテンション ユニットによって補完され、特徴マップ内のチャネルと空間領域間の相互依存関係をモデル化します。
さらに、付加的なアテンション ゲートは、エンコーダーとデコーダーの経路を接続することでセグメンテーションを洗練します。
モデルを強化するために、テクスチャ分析にはガボール フィルター、エッジ検出にはソーベル フィルターとキャニー フィルターを使用してエンジニアリングされた特徴が、セマンティック マスクに導かれて注入され、特徴空間が戦略的に拡張されます。
困難な下水管と暗渠の欠陥データセットとベンチマーク データセットに関する包括的な実験により、DAU-FI Net の機能が検証されます。
アブレーション研究では、注意ブロックと機能注入による漸進的なメリットが強調されています。
DAU-FI Net は、欠陥テスト セットとベンチマークでそれぞれ 95.6% と 98.8% という最先端の平均交差オーバーユニオン (IoU) を達成し、従来の方法をそれぞれ 8.9% と 12.6% 上回っています。
アブレーション研究では、注意ブロックと機能注入による漸進的なメリットが強調されています。
提案されたアーキテクチャは、限られたトレーニング データによるマルチクラス問題のセマンティック セグメンテーションを進化させる、堅牢なソリューションを提供します。
ピクセルレベルの注釈を備えた当社の下水管渠の欠陥データセットは、この重要な領域におけるさらなる研究への道を開きます。
全体として、この取り組みは、セマンティック セグメンテーションの有効性を高めるために、アーキテクチャ、注意力、および特徴エンジニアリングにおける重要な革新をもたらします。

要約(オリジナル)

The proposed architecture, Dual Attentive U-Net with Feature Infusion (DAU-FI Net), addresses challenges in semantic segmentation, particularly on multiclass imbalanced datasets with limited samples. DAU-FI Net integrates multiscale spatial-channel attention mechanisms and feature injection to enhance precision in object localization. The core employs a multiscale depth-separable convolution block, capturing localized patterns across scales. This block is complemented by a spatial-channel squeeze and excitation (scSE) attention unit, modeling inter-dependencies between channels and spatial regions in feature maps. Additionally, additive attention gates refine segmentation by connecting encoder-decoder pathways. To augment the model, engineered features using Gabor filters for textural analysis, Sobel and Canny filters for edge detection are injected guided by semantic masks to expand the feature space strategically. Comprehensive experiments on a challenging sewer pipe and culvert defect dataset and a benchmark dataset validate DAU-FI Net’s capabilities. Ablation studies highlight incremental benefits from attention blocks and feature injection. DAU-FI Net achieves state-of-the-art mean Intersection over Union (IoU) of 95.6% and 98.8% on the defect test set and benchmark respectively, surpassing prior methods by 8.9% and 12.6%, respectively. Ablation studies highlight incremental benefits from attention blocks and feature injection. The proposed architecture provides a robust solution, advancing semantic segmentation for multiclass problems with limited training data. Our sewer-culvert defects dataset, featuring pixel-level annotations, opens avenues for further research in this crucial domain. Overall, this work delivers key innovations in architecture, attention, and feature engineering to elevate semantic segmentation efficacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google