Multi-View Fusion and Distillation for Subgrade Distresses Detection based on 3D-GPR

要約

路床の遭難検知のための 3D 地中レーダー (3D-GPR) の応用は、広く普及しています。
検出の効率と精度を高めるために、先駆的な研究では自動検出技術、特に深層学習の導入が試みられています。
ただし、既存の研究は通常、GPR の従来の 1D A スキャン、2D B スキャン、または 3D C スキャン データに依存しているため、空間情報が不十分になるか、計算が複雑になります。
これらの課題に対処するために、3D-GPR データからのマルチビュー情報を活用することで、路盤損傷検出タスクに新しい方法論を導入します。
さらに、検出タスク用に元の 3D-GPR データから派生した実際の多視点画像データセットを構築します。これにより、A スキャンおよび B スキャン データと比較してより豊富な空間情報が提供され、C スキャン データと比較して計算の複雑さが軽減されます。
。
その後、私たちは、\textbf{M}ulti-\textbf{V} の使用と \textbf{D} の抽出フレームワークである \textbf{GPR-MVFD} を開発しました。
GPR データセットを表示します。
このフレームワークには、マルチビューの蒸留と注意ベースの融合が巧みに組み込まれており、路床の損傷に対する重要な特徴の抽出が容易になります。
さらに、自己適応学習メカニズムを採用し、モデルトレーニングを安定させ、各ブランチでのパフォーマンスの低下を防ぎます。
この新しい GPR ベンチマークで行われた広範な実験により、私たちが提案したフレームワークの有効性と効率性が実証されました。
私たちのフレームワークは、既存の GPR ベースラインだけでなく、マルチビュー学習、マルチモーダル学習、知識蒸留の分野における最先端の手法よりも優れています。
構築されたマルチビュー GPR データセットと、専門家の注釈が付けられたラベルおよび提案されたフレームワークのソース コードをリリースします。

要約(オリジナル)

The application of 3D ground-penetrating radar (3D-GPR) for subgrade distress detection has gained widespread popularity. To enhance the efficiency and accuracy of detection, pioneering studies have attempted to adopt automatic detection techniques, particularly deep learning. However, existing works typically rely on traditional 1D A-scan, 2D B-scan or 3D C-scan data of the GPR, resulting in either insufficient spatial information or high computational complexity. To address these challenges, we introduce a novel methodology for the subgrade distress detection task by leveraging the multi-view information from 3D-GPR data. Moreover, we construct a real multi-view image dataset derived from the original 3D-GPR data for the detection task, which provides richer spatial information compared to A-scan and B-scan data, while reducing computational complexity compared to C-scan data. Subsequently, we develop a novel \textbf{M}ulti-\textbf{V}iew \textbf{V}usion and \textbf{D}istillation framework, \textbf{GPR-MVFD}, specifically designed to optimally utilize the multi-view GPR dataset. This framework ingeniously incorporates multi-view distillation and attention-based fusion to facilitate significant feature extraction for subgrade distresses. In addition, a self-adaptive learning mechanism is adopted to stabilize the model training and prevent performance degeneration in each branch. Extensive experiments conducted on this new GPR benchmark demonstrate the effectiveness and efficiency of our proposed framework. Our framework outperforms not only the existing GPR baselines, but also the state-of-the-art methods in the fields of multi-view learning, multi-modal learning, and knowledge distillation. We will release the constructed multi-view GPR dataset with expert-annotated labels and the source codes of the proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google