Performance of Human Annotators in Object Detection and Segmentation of Remotely Sensed Data

要約

この研究では、アノテーション戦略、不均衡なデータのレベル、および以前の経験が人間のアノテーターのパフォーマンスに及ぼす影響を評価するために設計された実験室実験を紹介します。
この実験では、ArcGIS Pro ツールを使用して航空画像にラベルを付け、長方形のオブジェクトのケース スタディとして選択された小規模の太陽光発電ソーラー パネルを検出してセグメント化することに焦点を当てています。
実験は、ピクセル サイズ 0.15\textbf{$m$} の画像を使用して実施され、専門家と非専門家の両方の参加者が、さまざまなセットアップ戦略とターゲットとバックグラウンドの比率のデータセットにわたって参加します。
私たちの調査結果は、ヒューマン アノテーターは一般に、セグメンテーション タスクよりもオブジェクト検出の方が効果的に機能することを示しています。
タイプ I エラー (偽陽性、つまり、存在しない物体を誤って検出する) よりもタイプ II エラー (偽陰性、つまり、存在しない物体を検出する) の方が多く発生する顕著な傾向が、すべての実験設定と条件にわたって観察され、検出における一貫した偏りを示唆しています。
そしてセグメンテーションプロセス。
ターゲットとバックグラウンドの比率が高い (つまり、単位面積あたりのオブジェクトの数が多い) タスクでは、パフォーマンスが向上しました。
以前の経験はパフォーマンスに大きな影響を与えず、場合によってはセグメンテーションの過大評価につながる可能性さえあります。
これらの結果は、ヒューマン・アノテーターが比較的慎重で、自信がある場合にのみオブジェクトを識別し、過大評価よりも過小評価を優先する傾向があることを示す証拠を提供します。
アノテーターのパフォーマンスはオブジェクトの希少性にも影響され、データセットが極端に不均衡で、ターゲットと背景の比率が低い領域では低下が見られます。
これらの発見は、リモートセンシング研究のアノテーション戦略を強化する可能性がある一方、セグメンテーションと検出モデルを改善するための高品質のトレーニングデータに対する需要が高まっている時代には、効率的なヒューマンアノテーターが不可欠です。

要約(オリジナル)

This study introduces a laboratory experiment designed to assess the influence of annotation strategies, levels of imbalanced data, and prior experience, on the performance of human annotators. The experiment focuses on labeling aerial imagery, using ArcGIS Pro tools, to detect and segment small-scale photovoltaic solar panels, selected as a case study for rectangular objects. The experiment is conducted using images with a pixel size of 0.15\textbf{$m$}, involving both expert and non-expert participants, across different setup strategies and target-background ratio datasets. Our findings indicate that human annotators generally perform more effectively in object detection than in segmentation tasks. A marked tendency to commit more Type II errors (False Negatives, i.e., undetected objects) than Type I errors (False Positives, i.e. falsely detecting objects that do not exist) was observed across all experimental setups and conditions, suggesting a consistent bias in detection and segmentation processes. Performance was better in tasks with higher target-background ratios (i.e., more objects per unit area). Prior experience did not significantly impact performance and may, in some cases, even lead to overestimation in segmentation. These results provide evidence that human annotators are relatively cautious and tend to identify objects only when they are confident about them, prioritizing underestimation over overestimation. Annotators’ performance is also influenced by object scarcity, showing a decline in areas with extremely imbalanced datasets and a low ratio of target-to-background. These findings may enhance annotation strategies for remote sensing research while efficient human annotators are crucial in an era characterized by growing demands for high-quality training data to improve segmentation and detection models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google