Impact of Label Types on Training SWIN Models with Overhead Imagery

要約

データセット設計がモデルのトレーニングとパフォーマンスに与える影響を理解することは、リモート センシングやオーバーヘッドのラベル付けされたデータの生成に関連するコストを軽減するのに役立ちます。
この研究では、バウンディング ボックスとセグメンテーション ラベルを使用してシフト ウィンドウ トランスフォーマーをトレーニングすることの影響を調べました。後者の方が製造コストが高くなります。
ターゲットと背景の両方でトレーニングされたモデルと、セグメンテーション ラベルによって抽出されたターゲット ピクセルのみでトレーニングされたモデルを比較することで、分類タスクを検討しました。
物体検出モデルについては、トレーニング時にいずれかのラベル タイプを使用してパフォーマンスを比較しました。
ターゲット ピクセルのみでトレーニングされたモデルでは分類タスクのパフォーマンスの向上が見られず、評価セット内の背景ピクセルとターゲット ピクセルが混同されているように見えることがわかりました。
物体検出については、どちらのラベル タイプでトレーニングされたモデルでも、テスト全体で同等のパフォーマンスを示すことがわかりました。
オブジェクトのセグメンテーションなど、より複雑なラベルを必要としないタスクには、境界ボックスで十分であることがわかりました。
データ タイプやモデル アーキテクチャ全体でこの結果の一貫性を判断する作業を継続すると、ディープ ラーニング用のリモート センシング データ セットの生成に大幅な節約がもたらされる可能性があります。

要約(オリジナル)

Understanding the impact of data set design on model training and performance can help alleviate the costs associated with generating remote sensing and overhead labeled data. This work examined the impact of training shifted window transformers using bounding boxes and segmentation labels, where the latter are more expensive to produce. We examined classification tasks by comparing models trained with both target and backgrounds against models trained with only target pixels, extracted by segmentation labels. For object detection models, we compared performance using either label type when training. We found that the models trained on only target pixels do not show performance improvement for classification tasks, appearing to conflate background pixels in the evaluation set with target pixels. For object detection, we found that models trained with either label type showed equivalent performance across testing. We found that bounding boxes appeared to be sufficient for tasks that did not require more complex labels, such as object segmentation. Continuing work to determine consistency of this result across data types and model architectures could potentially result in substantial savings in generating remote sensing data sets for deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google