SpecDETR: A Transformer-based Hyperspectral Point Object Detection Network

要約

ハイパースペクトル ターゲット検出 (HTD) は、ハイパースペクトル画像のスペクトル情報に基づいて特定の物質を識別することを目的としており、点ターゲット (一部は 1 ピクセル未満の領域を占めるもの) を検出できます。
ただし、既存の HTD 手法はピクセルごとのバイナリ分類に基づいて開発されているため、ポイント ターゲットの特徴表現能力が制限されます。
この論文では、ハイパースペクトル ポイント ターゲット検出をオブジェクト検出の観点から再考し、ピクセル分類機能ではなくオブジェクト レベルの予測機能に重点を置きます。
Detection Transformer (DETR) のトークンベースの処理フローからインスピレーションを得て、ハイパースペクトルのマルチクラス点オブジェクト検出に特化した最初のネットワーク SpecDETR を提案します。
現在の物体検出フレームワークのバックボーン部分を使用せずに、SpecDETR はハイパースペクトル イメージ内の各ピクセルのスペクトル特徴をトークンとして扱い、ローカルおよびグローバル調整アテンション モジュールを備えたマルチレイヤー トランスフォーマー エンコーダーを利用して、深い空間スペクトル結合特徴を抽出します。
SpecDETR は、点オブジェクトの検出を 1 対多の集合予測問題として捉え、点オブジェクトの検出パラメータと精度の点で現在の最先端の DETR デコーダを上回る、簡潔で効率的な DETR デコーダを実現します。
私たちは、SPOD と呼ばれるシミュレートされたハイパースペクトル点オブジェクト検出ベンチマークを開発し、ハイパースペクトル マルチクラス点オブジェクト検出における現在のオブジェクト検出ネットワークと HTD メソッドのパフォーマンスを初めて評価および比較します。
SpecDETR は、SPOD データセット上の現在の物体検出ネットワークや HTD メソッドと比較して優れたパフォーマンスを示します。
さらに、手動アノテーションの代わりにデータ シミュレーションを使用することで、SpecDETR が現実世界の単一スペクトル点オブジェクトを直接検出できることを公開 HTD データセットで検証します。

要約(オリジナル)

Hyperspectral target detection (HTD) aims to identify specific materials based on spectral information in hyperspectral imagery and can detect point targets, some of which occupy a smaller than one-pixel area. However, existing HTD methods are developed based on per-pixel binary classification, which limits the feature representation capability for point targets. In this paper, we rethink the hyperspectral point target detection from the object detection perspective, and focus more on the object-level prediction capability rather than the pixel classification capability. Inspired by the token-based processing flow of Detection Transformer (DETR), we propose the first specialized network for hyperspectral multi-class point object detection, SpecDETR. Without the backbone part of the current object detection framework, SpecDETR treats the spectral features of each pixel in hyperspectral images as a token and utilizes a multi-layer Transformer encoder with local and global coordination attention modules to extract deep spatial-spectral joint features. SpecDETR regards point object detection as a one-to-many set prediction problem, thereby achieving a concise and efficient DETR decoder that surpasses the current state-of-the-art DETR decoder in terms of parameters and accuracy in point object detection. We develop a simulated hyperSpectral Point Object Detection benchmark termed SPOD, and for the first time, evaluate and compare the performance of current object detection networks and HTD methods on hyperspectral multi-class point object detection. SpecDETR demonstrates superior performance as compared to current object detection networks and HTD methods on the SPOD dataset. Additionally, we validate on a public HTD dataset that by using data simulation instead of manual annotation, SpecDETR can detect real-world single-spectral point objects directly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google