SpectralZoom: Efficient Segmentation with an Adaptive Hyperspectral Camera

要約

ハイパースペクトル画像セグメンテーションは、農業、リモート センシング、生物医学イメージング、戦場センシング、天文学などの多くの分野にとって重要です。
ただし、ハイパーおよびマルチスペクトル イメージングの課題は、データ フットプリントが大きいことです。
私たちは、キャプチャされたデータのフットプリントとハイパースペクトル セグメンテーションの計算負荷の両方を軽減する、新しいカメラ設計とビジョン トランスフォーマー ベース (ViT) アルゴリズムの両方を提案します。
私たちのカメラは、ハイパースペクトル キューブ全体を 1 つの高解像度でキャプチャするのではなく、さまざまな解像度で画像領域またはパッチを適応的にサンプリングできます。
当社のセグメンテーション アルゴリズムはカメラと連携して動作し、適応的に選択されたパッチにのみ ViT ベースのセグメンテーションを適用します。
シミュレーションと実際のハードウェア プラットフォームの両方で結果を示し、正確なセグメンテーション結果と計算負荷の軽減の両方を実証します。

要約(オリジナル)

Hyperspectral image segmentation is crucial for many fields such as agriculture, remote sensing, biomedical imaging, battlefield sensing and astronomy. However, the challenge of hyper and multi spectral imaging is its large data footprint. We propose both a novel camera design and a vision transformer-based (ViT) algorithm that alleviate both the captured data footprint and the computational load for hyperspectral segmentation. Our camera is able to adaptively sample image regions or patches at different resolutions, instead of capturing the entire hyperspectral cube at one high resolution. Our segmentation algorithm works in concert with the camera, applying ViT-based segmentation only to adaptively selected patches. We show results both in simulation and on a real hardware platform demonstrating both accurate segmentation results and reduced computational burden.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google