Multi-visual modality micro drone-based structural damage detection

要約

構造物損傷検出における物体検出器の正確な検出と回復力は、民間インフラの継続的な使用を確保する上で重要です。
ただし、物体検出器の堅牢性を達成することは依然として根深い課題であり、効果的に一般化する能力に影響を与えます。
この研究では、マイクロ ドローンと組み合わせた構造損傷検出のための堅牢なフレームワークである DetectorX を提案します。
DetectorX は、ステム ブロックとスパイラル プーリング技術という 2 つの革新的なモジュールを組み込むことで、物体検出器の堅牢性の課題に対処します。
ステム ブロックは、2 つのディープ畳み込みニューラル ネットワーク (DCNN) モデルの出力を活用することにより、動的な視覚モダリティを導入します。
このフレームワークは、提案されたイベントベースの報酬強化学習を採用して、報酬につながる親と子の DCNN モデルのアクションを制約します。
これにより、赤、緑、青 (RGB) データとともに 2 つの動的な視覚モダリティが導入されます。
この機能強化により、さまざまな環境状況における DetectorX の認識力と適応性が大幅に強化されます。
さらに、オンライン画像拡張手法であるスパイラル プーリング技術は、スパイラル プールされた特徴と平均/最大プールされた特徴を連結することによって特徴表現を増やすことでフレームワークを強化します。
3 つの広範な実験 (1) 太平洋地震工学研究ハブ ImageNet データセットを使用した比較実験と (2) 堅牢性、(3) フィールド実験で、DetectorX は精度 (0.88)、再現率 (0.84) などのさまざまな指標にわたって満足のいくパフォーマンスを示しました。
)、平均精度 (0.91)、平均平均精度 (0.76)、平均平均再現率 (0.73) を、You Only Look Once などの競合検出器と比較して、
X-medium（YOLOX-m）など。
研究結果は、DetectorX が満足のいく結果を提供し、困難な環境でも回復力を実証できることを示しています。

要約(オリジナル)

Accurate detection and resilience of object detectors in structural damage detection are important in ensuring the continuous use of civil infrastructure. However, achieving robustness in object detectors remains a persistent challenge, impacting their ability to generalize effectively. This study proposes DetectorX, a robust framework for structural damage detection coupled with a micro drone. DetectorX addresses the challenges of object detector robustness by incorporating two innovative modules: a stem block and a spiral pooling technique. The stem block introduces a dynamic visual modality by leveraging the outputs of two Deep Convolutional Neural Network (DCNN) models. The framework employs the proposed event-based reward reinforcement learning to constrain the actions of a parent and child DCNN model leading to a reward. This results in the induction of two dynamic visual modalities alongside the Red, Green, and Blue (RGB) data. This enhancement significantly augments DetectorX’s perception and adaptability in diverse environmental situations. Further, a spiral pooling technique, an online image augmentation method, strengthens the framework by increasing feature representations by concatenating spiraled and average/max pooled features. In three extensive experiments: (1) comparative and (2) robustness, which use the Pacific Earthquake Engineering Research Hub ImageNet dataset, and (3) field-experiment, DetectorX performed satisfactorily across varying metrics, including precision (0.88), recall (0.84), average precision (0.91), mean average precision (0.76), and mean average recall (0.73), compared to the competing detectors including You Only Look Once X-medium (YOLOX-m) and others. The study’s findings indicate that DetectorX can provide satisfactory results and demonstrate resilience in challenging environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google