LEFormer: A Hybrid CNN-Transformer Architecture for Accurate Lake Extraction from Remote Sensing Imagery

要約

リモート センシング画像からの湖の抽出は、複雑な湖の形状と固有のデータ ノイズにより困難です。
既存の方法では、セグメンテーションの境界がぼやけたり、前景モデリングが貧弱になったりするという問題があります。
この論文では、正確なレイク抽出のために、LEFormer と呼ばれるハイブリッド CNN トランスフォーマー アーキテクチャを提案します。
LEFormer には、CNN エンコーダ、Transformer エンコーダ、クロスエンコーダ フュージョンの 3 つの主要モジュールが含まれています。
CNN エンコーダは、ローカルの空間情報を効果的に復元し、細かいスケールの詳細を改善します。
同時に、Transformer エンコーダーは、任意の長さのシーケンス間の長距離依存関係をキャプチャし、グローバルな特徴とコンテキスト情報を取得できるようにします。
クロスエンコーダ融合モジュールは、ローカル機能とグローバル機能を統合して、マスク予測を改善します。
実験結果は、LEFormer が地表水と青海チベット高原湖のデータセットで常に最先端のパフォーマンスと効率を達成していることを示しています。
具体的には、LEFormer はパラメータ数 3.61M の 2 つのデータセットでそれぞれ 90.86% と 97.42% の mIoU を達成していますが、これまでの最良の湖抽出方法よりも 20 少ない値です。
ソース コードは https://github.com/BastianChen/LEFormer で入手できます。

要約(オリジナル)

Lake extraction from remote sensing images is challenging due to the complex lake shapes and inherent data noises. Existing methods suffer from blurred segmentation boundaries and poor foreground modeling. This paper proposes a hybrid CNN-Transformer architecture, called LEFormer, for accurate lake extraction. LEFormer contains three main modules: CNN encoder, Transformer encoder, and cross-encoder fusion. The CNN encoder effectively recovers local spatial information and improves fine-scale details. Simultaneously, the Transformer encoder captures long-range dependencies between sequences of any length, allowing them to obtain global features and context information. The cross-encoder fusion module integrates the local and global features to improve mask prediction. Experimental results show that LEFormer consistently achieves state-of-the-art performance and efficiency on the Surface Water and the Qinghai-Tibet Plateau Lake datasets. Specifically, LEFormer achieves 90.86% and 97.42% mIoU on two datasets with a parameter count of 3.61M, respectively, while being 20 minor than the previous best lake extraction method. The source code is available at https://github.com/BastianChen/LEFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google