NeRT: Implicit Neural Representations for General Unsupervised Turbulence Mitigation

要約

大気と水の乱流の緩和問題は、コンピュータ ビジョンと光学のコミュニティにおいて、長年にわたり困難な逆問題として浮上してきました。
ただし、現在の方法はトレーニング データセットの品質に大きく依存しているか、静的シーン、動的シーン、テキストの再構成などのさまざまなシナリオを一般化できません。
教師なし大気および水の乱流緩和 (NeRT) のための一般的な暗黙的ニューラル表現を提案します。
NeRT は、暗黙的なニューラル表現と物理的に正しい傾いてからブラーする乱気流モデルを活用して、歪んだ入力画像が数十枚だけ与えられた場合でも、歪みのないきれいな画像を再構築します。
さらに、大気および水の乱流データセットのさまざまな定性的および定量的評価を通じて、NeRT が最先端技術を上回るパフォーマンスを示すことを示します。
さらに、実世界の環境から制御不能な乱気流を除去する NeRT の能力を実証します。
最後に、連続的にキャプチャされたビデオ シーケンスに NeRT を組み込み、48 倍の高速化を実証します。

要約(オリジナル)

The atmospheric and water turbulence mitigation problems have emerged as challenging inverse problems in computer vision and optics communities over the years. However, current methods either rely heavily on the quality of the training dataset or fail to generalize over various scenarios, such as static scenes, dynamic scenes, and text reconstructions. We propose a general implicit neural representation for unsupervised atmospheric and water turbulence mitigation (NeRT). NeRT leverages the implicit neural representations and the physically correct tilt-then-blur turbulence model to reconstruct the clean, undistorted image, given only dozens of distorted input images. Moreover, we show that NeRT outperforms the state-of-the-art through various qualitative and quantitative evaluations of atmospheric and water turbulence datasets. Furthermore, we demonstrate the ability of NeRT to eliminate uncontrolled turbulence from real-world environments. Lastly, we incorporate NeRT into continuously captured video sequences and demonstrate $48 \times$ speedup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google