dacl1k: Real-World Bridge Damage Dataset Putting Open-Source Data to the Test

要約

鉄筋コンクリート欠陥 (RCD) を認識することは、橋の構造の完全性、交通の安全性、耐久性を判断するための重要な要素です。
ただし、RCD ドメインの既存のデータセットのほとんどは、特定のカメラのポーズ、照明条件、および固定ハードウェアで取得された少数の橋から派生しています。
これらの制限により、現実世界のシナリオにおけるこのようなオープンソース データでトレーニングされたモデルの有用性が疑問視されます。
私たちは、1,474 枚の画像を含む建築検査に基づくマルチラベル分類用の非常に多様な RCD データセットである「dacl1k」データセットでそのようなモデルをテストすることで、この問題に対処します。
これにより、オープンソース データ (メタ データセット) のさまざまな組み合わせでモデルをトレーニングし、その後、外部と内部の両方で評価しました。
外部評価中に、dacl1k とメタ データセットに関するメトリクスをレポートします。
dacl1k のパフォーマンス分析では、メタ データの実用的な使いやすさが示されており、最良のモデルでは 32% の完全一致率が示されています。
さらに、モデルが望ましい目標であるデータセットまたはクラス (RCD) を区別することを学習したかどうかを確認するために、外部評価から導出された最良のモデルのボトルネック特徴をクラスタリングすることによって内部評価を実行します。
dacl1k データセットとトレーニング済みモデルは一般に公開され、研究者や実務家がモデルを現実世界でテストできるようになります。

要約(オリジナル)

Recognising reinforced concrete defects (RCDs) is a crucial element for determining the structural integrity, traffic safety and durability of bridges. However, most of the existing datasets in the RCD domain are derived from a small number of bridges acquired in specific camera poses, lighting conditions and with fixed hardware. These limitations question the usability of models trained on such open-source data in real-world scenarios. We address this problem by testing such models on our ‘dacl1k’ dataset, a highly diverse RCD dataset for multi-label classification based on building inspections including 1,474 images. Thereby, we trained the models on different combinations of open-source data (meta datasets) which were subsequently evaluated both extrinsically and intrinsically. During extrinsic evaluation, we report metrics on dacl1k and the meta datasets. The performance analysis on dacl1k shows practical usability of the meta data, where the best model shows an Exact Match Ratio of 32%. Additionally, we conduct an intrinsic evaluation by clustering the bottleneck features of the best model derived from the extrinsic evaluation in order to find out, if the model has learned distinguishing datasets or the classes (RCDs) which is the aspired goal. The dacl1k dataset and our trained models will be made publicly available, enabling researchers and practitioners to put their models to the real-world test.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google