Learning deep illumination-robust features from multispectral filter array images

要約

MS フィルター アレイ (MSFA) を備えたマルチスペクトル (MS) スナップショット カメラは、シングル ショットで複数のスペクトル バンドをキャプチャし、各ピクセルが 1 つのチャネル値のみを保持する生のモザイク イメージを生成します。
完全に定義された MS 画像は、\textit{デモザイク} を通じて生の画像から推定されますが、これにより空間スペクトル アーティファクトが必然的に導入されます。
さらに、完全に定義された MS 画像のトレーニングは、特にディープ ニューラル ネットワーク (DNN) を使用した場合に計算集約的になる可能性があり、空間スペクトル相互作用の学習が最適ではないため、特徴が識別能力を欠く可能性があります。
さらに、屋外の MS 画像取得はさまざまな照明条件下で行われるため、照明に依存する特徴が生じます。
この論文では、生の画像から直接、判別性と照明に強い特徴を学習するための独自のアプローチを紹介します。
これには、照明の影響を軽減するための \textit{生のスペクトル不変性}、さまざまな生のテクスチャで DNN をトレーニングするための生の画像拡張に適した \textit{MSFA-preserving} 変換、および判別空間をキャプチャするための \textit{生混合} が含まれます。
-生の画像におけるスペクトル相互作用。
MS 画像分類の実験では、私たちのアプローチが手作りの方法と最近の深層学習ベースの方法の両方を上回り、必要な計算量も大幅に少ないことがわかりました。
ソース コードは https://github.com/AnisAmziane/RawTexture で入手できます。

要約(オリジナル)

Multispectral (MS) snapshot cameras equipped with a MS filter array (MSFA), capture multiple spectral bands in a single shot, resulting in a raw mosaic image where each pixel holds only one channel value. The fully-defined MS image is estimated from the raw one through \textit{demosaicing}, which inevitably introduces spatio-spectral artifacts. Moreover, training on fully-defined MS images can be computationally intensive, particularly with deep neural networks (DNNs), and may result in features lacking discrimination power due to suboptimal learning of spatio-spectral interactions. Furthermore, outdoor MS image acquisition occurs under varying lighting conditions, leading to illumination-dependent features. This paper presents an original approach to learn discriminant and illumination-robust features directly from raw images. It involves: \textit{raw spectral constancy} to mitigate the impact of illumination, \textit{MSFA-preserving} transformations suited for raw image augmentation to train DNNs on diverse raw textures, and \textit{raw-mixing} to capture discriminant spatio-spectral interactions in raw images. Experiments on MS image classification show that our approach outperforms both handcrafted and recent deep learning-based methods, while also requiring significantly less computational effort. The source code is available at https://github.com/AnisAmziane/RawTexture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google