Diffeomorphic Template Registration for Atmospheric Turbulence Mitigation

要約

我々は、大気の乱れによって乱された画像から放射照度を復元する方法について述べる。教師付きデータは技術的に入手不可能なことが多いため、この逆問題を解くためには仮定とバイアスを課さなければならないが、我々はそれらを明示的にモデル化することを選択する。変形を推定するためにヒューリスティックに潜在放射照度（「テンプレート」）を初期化するのではなく、画像の一つを参照として選択し、その画像から他の画像へのオプティカルフローの集約によって、この画像の変形をモデル化する。次に、新しいフローインバージョンモジュールにより、モデルは各画像をテンプレートに登録するが、テンプレートは登録しない。本手法の頑健性を示すために、単純に(i)最初のフレームを参照として選択し、(ii)最も単純なオプティカルフローを用いてワーピングを推定する。本手法は、より洗練されたパイプラインにシームレスに統合することにより、あるいは必要であれば領域固有の手法と統合することにより、さらなる改善が可能な強力なベースラインを確立する。

要約(オリジナル)

We describe a method for recovering the irradiance underlying a collection of images corrupted by atmospheric turbulence. Since supervised data is often technically impossible to obtain, assumptions and biases have to be imposed to solve this inverse problem, and we choose to model them explicitly. Rather than initializing a latent irradiance (‘template’) by heuristics to estimate deformation, we select one of the images as a reference, and model the deformation in this image by the aggregation of the optical flow from it to other images, exploiting a prior imposed by Central Limit Theorem. Then with a novel flow inversion module, the model registers each image TO the template but WITHOUT the template, avoiding artifacts related to poor template initialization. To illustrate the robustness of the method, we simply (i) select the first frame as the reference and (ii) use the simplest optical flow to estimate the warpings, yet the improvement in registration is decisive in the final reconstruction, as we achieve state-of-the-art performance despite its simplicity. The method establishes a strong baseline that can be further improved by integrating it seamlessly into more sophisticated pipelines, or with domain-specific methods if so desired.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL