A hierarchical semantic segmentation framework for computer vision-based bridge damage detection

要約

遠隔カメラや無人航空機（UAV）を使用したコンピュータ・ビジョン・ベースの損傷検出により、効率的で低コストの橋梁の健全性監視が可能になり、人件費やセンサーの設置・保守の必要性が低減される。最近のセマンティック画像分割アプローチを活用することで、重要な構造部品の領域を見つけ、画像のみを入力としてピクセルレベルで損傷を認識することができる。しかし、既存の手法では、小さな損傷（例えば、ひび割れや露出した鉄筋）や、限られた画像サンプルで薄い物体を検出する場合、特に対象となる構成要素が非常に不均衡な場合、性能が低い。このため、本論文では、構成要素のカテゴリと損傷タイプの間に階層的な意味的関係を課す意味的セグメンテーションフレームワークを導入する。例えば、ある種のコンクリートひび割れは橋の柱にしか存在しないため、このような損傷を検出する場合、柱以外の領域はマスクされる。このようにして、損傷検出モデルは、損傷の可能性がある領域のみから特徴を学習することに集中し、他の無関係な領域の影響を避けることができる。我々はまた、小さくて薄い物体を扱う能力を失うことなく、各画像の文脈情報を保持する、異なるスケールのビューを提供するマルチスケールオーギュメンテーションを利用する。さらに、提案するフレームワークは、より多くのデータサンプルを提供するために、希少な構成要素（例えば、鉄道枕木や露出した鉄筋）を含む画像を繰り返しサンプリングする重要なサンプリングを採用し、不均衡なデータの課題に対処する。

要約(オリジナル)

Computer vision-based damage detection using remote cameras and unmanned aerial vehicles (UAVs) enables efficient and low-cost bridge health monitoring that reduces labor costs and the needs for sensor installation and maintenance. By leveraging recent semantic image segmentation approaches, we are able to find regions of critical structural components and recognize damage at the pixel level using images as the only input. However, existing methods perform poorly when detecting small damages (e.g., cracks and exposed rebars) and thin objects with limited image samples, especially when the components of interest are highly imbalanced. To this end, this paper introduces a semantic segmentation framework that imposes the hierarchical semantic relationship between component category and damage types. For example, certain concrete cracks only present on bridge columns and therefore the non-column region will be masked out when detecting such damages. In this way, the damage detection model could focus on learning features from possible damaged regions only and avoid the effects of other irrelevant regions. We also utilize multi-scale augmentation that provides views with different scales that preserves contextual information of each image without losing the ability of handling small and thin objects. Furthermore, the proposed framework employs important sampling that repeatedly samples images containing rare components (e.g., railway sleeper and exposed rebars) to provide more data samples, which addresses the imbalanced data challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL