TreeFormer: a Semi-Supervised Transformer-based Framework for Tree Counting from a Single High Resolution Image

要約

単一の航空画像と衛星画像を使用した自動樹木密度推定と計数は、写真測量とリモート センシングにおいては困難な作業ですが、森林管理においては重要な役割を果たします。
この論文では、リモートセンシング画像に対する高価なツリーアノテーションを削減する、ツリーカウントのための最初の半教師ありトランスフォーマーベースのフレームワークを提案します。
TreeFormer と呼ばれる私たちの方法は、まず、トランスフォーマー ブロックに基づいてピラミッド ツリー表現モジュールを開発し、エンコード段階でマルチスケール特徴を抽出します。
コンテキスト アテンション ベースの特徴融合およびツリー密度リグレッサー モジュールは、エンコーダからの堅牢な特徴を利用してデコーダ内のツリー密度マップを推定するようにさらに設計されています。
さらに、ラベルのない画像をトレーニング プロセスに利用するために、局所的な木の密度の一貫性と局所的な木の数のランキング損失を含むピラミッド学習戦略を提案します。
最後に、ラベル付きイメージとラベルなしイメージの両方のグローバル ツリー数を計算することでネットワークを規制するために、ツリー カウンター トークンが導入されます。
私たちのモデルは、江蘇省とヨセミテという 2 つのベンチマーク木計数データセットと、私たちが作成した新しいデータセット KCL-ロンドンで評価されました。
私たちの TreeFormer は、同じ設定下で最先端の半教師ありメソッドを上回り、同じ数のラベル付き画像を使用した完全教師ありメソッドを上回ります。
コードとデータセットは https://github.com/HAAClassic/TreeFormer で入手できます。

要約(オリジナル)

Automatic tree density estimation and counting using single aerial and satellite images is a challenging task in photogrammetry and remote sensing, yet has an important role in forest management. In this paper, we propose the first semisupervised transformer-based framework for tree counting which reduces the expensive tree annotations for remote sensing images. Our method, termed as TreeFormer, first develops a pyramid tree representation module based on transformer blocks to extract multi-scale features during the encoding stage. Contextual attention-based feature fusion and tree density regressor modules are further designed to utilize the robust features from the encoder to estimate tree density maps in the decoder. Moreover, we propose a pyramid learning strategy that includes local tree density consistency and local tree count ranking losses to utilize unlabeled images into the training process. Finally, the tree counter token is introduced to regulate the network by computing the global tree counts for both labeled and unlabeled images. Our model was evaluated on two benchmark tree counting datasets, Jiangsu, and Yosemite, as well as a new dataset, KCL-London, created by ourselves. Our TreeFormer outperforms the state of the art semi-supervised methods under the same setting and exceeds the fully-supervised methods using the same number of labeled images. The codes and datasets are available at https://github.com/HAAClassic/TreeFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google