WaveMo: Learning Wavefront Modulations to See Through Scattering

要約

散乱媒体を介したイメージングは​​、医療診断から天文学に至るまでの分野における基本的かつ広範な課題です。
この課題を克服するための有望な戦略は、画像取得中に測定ダイバーシティを引き起こす波面変調です。
その重要性にもかかわらず、散乱を介して画像化するための最適な波面変調の設計はまだ研究されていません。
この論文では、ギャップに対処するための新しい学習ベースのフレームワークを紹介します。
私たちのアプローチは、波面変調と計算的に軽量なフィードフォワード「プロキシ」再構成ネットワークを共同で最適化します。
このネットワークは、これらの変調によって変更された測定値を使用して、散乱によって隠されたシーンを復元するように訓練されています。
私たちのフレームワークによって生成された学習された変調は、目に見えない散乱シナリオに効果的に一般化され、驚くべき多用途性を示します。
導入中に、学習された変調をプロキシ ネットワークから切り離して、計算コストの高い他の復元アルゴリズムを強化することができます。
広範な実験を通じて、私たちのアプローチが散乱媒体を介したイメージングの最先端技術を大幅に進歩させることを実証しました。
私たちのプロジェクトの Web ページは https://wavemo-2024.github.io/ にあります。

要約(オリジナル)

Imaging through scattering media is a fundamental and pervasive challenge in fields ranging from medical diagnostics to astronomy. A promising strategy to overcome this challenge is wavefront modulation, which induces measurement diversity during image acquisition. Despite its importance, designing optimal wavefront modulations to image through scattering remains under-explored. This paper introduces a novel learning-based framework to address the gap. Our approach jointly optimizes wavefront modulations and a computationally lightweight feedforward ‘proxy’ reconstruction network. This network is trained to recover scenes obscured by scattering, using measurements that are modified by these modulations. The learned modulations produced by our framework generalize effectively to unseen scattering scenarios and exhibit remarkable versatility. During deployment, the learned modulations can be decoupled from the proxy network to augment other more computationally expensive restoration algorithms. Through extensive experiments, we demonstrate our approach significantly advances the state of the art in imaging through scattering media. Our project webpage is at https://wavemo-2024.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google