PaveSAM Segment Anything for Pavement Distress

要約

コンピュータービジョンを使用した自動舗装モニタリングは、手動による方法よりも効率的かつ正確に舗装状態を分析できます。
正確なセグメンテーションは、舗​​装欠陥の重大度と範囲を定量化するために不可欠であり、その結果、修復および保守活動の優先順位付けに使用される全体的な状態の指標となります。
ただし、深層学習ベースのセグメンテーション モデルは多くの場合監視されており、ピクセル レベルのアノテーションが必要であり、コストと時間がかかる可能性があります。
ゼロショット セグメンテーション モデルの最近の進化により、トレーニング データなしで目に見えないクラスのピクセル単位のラベルを生成できるようになりましたが、亀裂や舗装のテクスチャ背景の不規則性に苦労しています。
この研究では、境界ボックス プロンプトを使用して舗装の損傷をセグメント化できるゼロショット セグメンテーション モデル PaveSAM を提案します。
わずか 180 枚の画像で SAM のマスク デコーダを再トレーニングすることにより、舗装の遭難セグメンテーションに革命が起こり、境界ボックス プロンプトを使用した効率的な遭難セグメンテーションが可能になります。これは現在のセグメンテーション モデルには見られない機能です。
これにより、ラベル付けの労力とコストが大幅に削減されるだけでなく、最小限の入力でモデルの高いパフォーマンスが実証され、舗装損傷セグメンテーションにおける SAM の先駆的な使用が確立されます。
さらに、研究者は境界ボックスで注釈が付けられた既存のオープンソースの舗装被害画像を使用してセグメンテーション マスクを作成でき、これによりセグメンテーション舗装被害データセットの可用性と多様性が向上します。

要約(オリジナル)

Automated pavement monitoring using computer vision can analyze pavement conditions more efficiently and accurately than manual methods. Accurate segmentation is essential for quantifying the severity and extent of pavement defects and consequently, the overall condition index used for prioritizing rehabilitation and maintenance activities. Deep learning-based segmentation models are however, often supervised and require pixel-level annotations, which can be costly and time-consuming. While the recent evolution of zero-shot segmentation models can generate pixel-wise labels for unseen classes without any training data, they struggle with irregularities of cracks and textured pavement backgrounds. This research proposes a zero-shot segmentation model, PaveSAM, that can segment pavement distresses using bounding box prompts. By retraining SAM’s mask decoder with just 180 images, pavement distress segmentation is revolutionized, enabling efficient distress segmentation using bounding box prompts, a capability not found in current segmentation models. This not only drastically reduces labeling efforts and costs but also showcases our model’s high performance with minimal input, establishing the pioneering use of SAM in pavement distress segmentation. Furthermore, researchers can use existing open-source pavement distress images annotated with bounding boxes to create segmentation masks, which increases the availability and diversity of segmentation pavement distress datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google