Self-Supervised Learning for Covariance Estimation

要約

共分散推定のための深層学習の使用を検討します。
私たちは、ニューラル ネットワークをグローバルに学習し、推論時にローカルに適用することを提案します。
自己教師あり基礎モデルの最近の進歩を活用して、単にさまざまなサンプルをマスクし、周囲の近傍を考慮してそれらの共分散を予測する方法を学習することで、ラベル付けを行わずにネットワークをトレーニングします。
このアーキテクチャは、一般的なアテンション メカニズムに基づいています。
古典的な手法に対する主な利点は、分布の仮定や正則化を行わずにグローバル特性を自動的に活用できることです。
基礎モデルとして事前にトレーニングし、レーダーやハイパースペクトル画像での適応目標検出など、さまざまな下流タスクに再利用できます。

要約(オリジナル)

We consider the use of deep learning for covariance estimation. We propose to globally learn a neural network that will then be applied locally at inference time. Leveraging recent advancements in self-supervised foundational models, we train the network without any labeling by simply masking different samples and learning to predict their covariance given their surrounding neighbors. The architecture is based on the popular attention mechanism. Its main advantage over classical methods is the automatic exploitation of global characteristics without any distributional assumptions or regularization. It can be pre-trained as a foundation model and then be repurposed for various downstream tasks, e.g., adaptive target detection in radar or hyperspectral imagery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google