Manual Labelling Artificially Inflates Deep Learning-Based Segmentation Performance on RGB Images of Closed Canopy: Validation Using TLS

要約

個々の樹木スケールでの森林ダイナミクスの監視は、気候変動に対する生態系の反応を正確に評価するために不可欠ですが、フィールドベースの森林在庫に依存する従来の方法は労働集約的であり、空間的なカバレッジが制限されています。
ドローンで獲得したRGB画像を使用したリモートセンシングの進歩と深い学習モデルと組み合わせて、正確な個々のツリークラウン（ITC）セグメンテーションを約束しました。
ただし、既存の方法は、人間が注目した画像に対して頻繁に検証されていますが、厳密な独立したグラウンドトゥルースがありません。
この研究では、混合されていない北方林と地中海の森林のドローン画像のための、共同配置された陸生レーザースキャン（TLS）データから高忠実度検証ラベルを生成します。
これらのデータで、広く使用されている2つのディープラーニングITCセグメンテーションモデル（Deepforest（Retinanet）とDetectree2（Mask R -CNN））のパフォーマンスを評価し、手動でラベル付けされたさらなる地中海の森林データのパフォーマンスと比較します。
地中海の森林からのTLS由来のグラウンドトゥルースに対して検証された場合、生態学的に類似したサイトからの手標識に基づく評価と比較して、モデルのパフォーマンスは大幅に減少しました（AP50：0.094対0.670）。
キャノピーツリーのみに評価を制限することは、このギャップを大幅に縮小しました（Canopy AP50：0.365）が、パフォーマンスは同様の手で覆われたデータよりもはるかに低かった。
また、モデルは北方の森林データではあまり機能しませんでした（AP50：0.142）が、天蓋木のみで評価されると再び増加します（Canopy AP50：0.308）。
両方のモデルは、キャノピーツリーに制限されている場合でも、より厳格なIOUしきい値で非常に不十分な局所化精度を示しました（Max AP75：0.051）。
航空用ライダーデータを使用した研究でも同様の結果が観察されており、閉じた天蓋森林における空中ベースのセグメンテーションアプローチの基本的な制限を示唆しています。

要約(オリジナル)

Monitoring forest dynamics at an individual tree scale is essential for accurately assessing ecosystem responses to climate change, yet traditional methods relying on field-based forest inventories are labor-intensive and limited in spatial coverage. Advances in remote sensing using drone-acquired RGB imagery combined with deep learning models have promised precise individual tree crown (ITC) segmentation; however, existing methods are frequently validated against human-annotated images, lacking rigorous independent ground truth. In this study, we generate high-fidelity validation labels from co-located Terrestrial Laser Scanning (TLS) data for drone imagery of mixed unmanaged boreal and Mediterranean forests. We evaluate the performance of two widely used deep learning ITC segmentation models – DeepForest (RetinaNet) and Detectree2 (Mask R-CNN) – on these data, and compare to performance on further Mediterranean forest data labelled manually. When validated against TLS-derived ground truth from Mediterranean forests, model performance decreased significantly compared to assessment based on hand-labelled from an ecologically similar site (AP50: 0.094 vs. 0.670). Restricting evaluation to only canopy trees shrank this gap considerably (Canopy AP50: 0.365), although performance was still far lower than on similar hand-labelled data. Models also performed poorly on boreal forest data (AP50: 0.142), although again increasing when evaluated on canopy trees only (Canopy AP50: 0.308). Both models showed very poor localisation accuracy at stricter IoU thresholds, even when restricted to canopy trees (Max AP75: 0.051). Similar results have been observed in studies using aerial LiDAR data, suggesting fundamental limitations in aerial-based segmentation approaches in closed canopy forests.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google