Self-Supervised Enhancement of Forward-Looking Sonar Images: Bridging Cross-Modal Degradation Gaps through Feature Space Transformation and Multi-Frame Fusion

要約

正確な水中ターゲット検出には、前向きに見えるソナー画像を強化することが重要です。
現在の深い学習方法は、主にシミュレートされたデータを使用した監視されたトレーニングに依存していますが、高品質の実世界のペアのデータを取得するのが難しいため、実用化と一般化が制限されます。
リモートセンシングからの自己教師のアプローチは、データ不足を部分的に緩和しますが、ソナーとリモートセンシング画像の間のクロスモーダルの劣化ギャップを無視します。
前処理された重量を直接転送すると、しばしば過度に滑らかなソナー画像、詳細の喪失、輝度が不十分になります。
これに対処するために、ソナーイメージをピクセルドメインから堅牢な特徴ドメインにマッピングする機能空間変換を提案し、劣化ギャップを効果的に架けます。
さらに、私たちの自己監視されたマルチフレーム融合戦略は、補完的なインターフレーム情報を活用して、スペックルノイズを自然に除去し、ターゲット地域の明るさを強化します。
3つの自己収集された現実世界の将来を見据えたソナーデータセットの実験は、我々の方法が既存のアプローチを大幅に上回り、効果的にノイズを抑制し、詳細なエッジを維持し、輝度を大幅に改善し、水中ターゲット検出アプリケーションの強力な可能性を示していることを示しています。

要約(オリジナル)

Enhancing forward-looking sonar images is critical for accurate underwater target detection. Current deep learning methods mainly rely on supervised training with simulated data, but the difficulty in obtaining high-quality real-world paired data limits their practical use and generalization. Although self-supervised approaches from remote sensing partially alleviate data shortages, they neglect the cross-modal degradation gap between sonar and remote sensing images. Directly transferring pretrained weights often leads to overly smooth sonar images, detail loss, and insufficient brightness. To address this, we propose a feature-space transformation that maps sonar images from the pixel domain to a robust feature domain, effectively bridging the degradation gap. Additionally, our self-supervised multi-frame fusion strategy leverages complementary inter-frame information to naturally remove speckle noise and enhance target-region brightness. Experiments on three self-collected real-world forward-looking sonar datasets show that our method significantly outperforms existing approaches, effectively suppressing noise, preserving detailed edges, and substantially improving brightness, demonstrating strong potential for underwater target detection applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google