High-Fidelity Lake Extraction via Two-Stage Prompt Enhancement: Establishing a Novel Baseline and Benchmark

要約

リモート センシング画像から湖を抽出することは、湖の形状やデータ ノイズが多様であるため、複雑な課題です。
現在の手法はマルチスペクトル画像データセットに依存しているため、ピクセル配置から湖の特徴を正確に学習することが困難になっています。
これは、モデルの学習と正確なセグメンテーション マスクの作成に影響します。
このペーパーでは、ポイント、ボックス、マスク プロンプトを使用して湖のおおよその位置を提供する、プロンプトベースのデータセット構築アプローチを紹介します。
また、トレーニング中にプロンプ​​トベースの段階とプロンプトなしの段階を備えた 2 段階のプロンプト強化フレームワーク LEPrompter も提案します。
プロンプトベースのステージでは、プロンプト エンコーダーを使用して事前情報を抽出し、プロンプト デコーダーでの自己注意および相互注意によるプロンプト トークンと画像埋め込みを統合します。
プロンプトは推論中の独立性を確保するために非アクティブ化され、追加のパラメーターや GFlops を導入することなく自動レイク抽出が可能になります。
広範な実験により、以前の最先端の方法と比較して、私たちが提案したアプローチのパフォーマンスの向上が示されています。
ソース コードは https://github.com/BastianChen/LEPrompter で入手できます。

要約(オリジナル)

Lake extraction from remote sensing imagery is a complex challenge due to the varied lake shapes and data noise. Current methods rely on multispectral image datasets, making it challenging to learn lake features accurately from pixel arrangements. This, in turn, affects model learning and the creation of accurate segmentation masks. This paper introduces a prompt-based dataset construction approach that provides approximate lake locations using point, box, and mask prompts. We also propose a two-stage prompt enhancement framework, LEPrompter, with prompt-based and prompt-free stages during training. The prompt-based stage employs a prompt encoder to extract prior information, integrating prompt tokens and image embedding through self- and cross-attention in the prompt decoder. Prompts are deactivated to ensure independence during inference, enabling automated lake extraction without introducing additional parameters and GFlops. Extensive experiments showcase performance improvements of our proposed approach compared to the previous state-of-the-art method. The source code is available at https://github.com/BastianChen/LEPrompter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google