Real-World Atmospheric Turbulence Correction via Domain Adaptation

要約

日常生活でよく見られる現象である大気の乱流は、主に地表の不均一な加熱によって引き起こされます。
この現象により、取得された画像やビデオが歪んだりぼやけたりする結果となり、下流の視覚タスク、特に物体の正確な検出や認識など、屋外環境から鮮明で安定した画像やビデオをキャプチャすることに依存するタスクに大きな影響を与える可能性があります。
したがって、人々は大気の乱気流をシミュレートする方法を提案し、大気の乱気流の影響を除去する効果的な深層学習ベースの方法を設計してきました。
ただし、これらの合成乱流画像は、現実世界の乱流効果のすべての範囲をカバーできるわけではありません。
モデルは合成シナリオでは優れたパフォーマンスを達成していますが、実際のケースに適用するとパフォーマンスの低下が常に存在します。
さらに、トレーニング中にモデルに提供されるクリーンなグラウンドトゥルースの対応物がないため、現実世界の乱気流を軽減することはより困難なタスクです。
この論文では、教師ありシミュレーション大気乱気流補正と教師なし実世界の大気乱気流補正をリンクする、ドメイン適応フレームワークの下で実世界の大気乱気流緩和モデルを提案します。
私たちが提案した方法が現実世界の大気乱気流シナリオのパフォーマンスを向上させ、画質と下流の視覚タスクの両方を向上させることを示します。

要約(オリジナル)

Atmospheric turbulence, a common phenomenon in daily life, is primarily caused by the uneven heating of the Earth’s surface. This phenomenon results in distorted and blurred acquired images or videos and can significantly impact downstream vision tasks, particularly those that rely on capturing clear, stable images or videos from outdoor environments, such as accurately detecting or recognizing objects. Therefore, people have proposed ways to simulate atmospheric turbulence and designed effective deep learning-based methods to remove the atmospheric turbulence effect. However, these synthesized turbulent images can not cover all the range of real-world turbulence effects. Though the models have achieved great performance for synthetic scenarios, there always exists a performance drop when applied to real-world cases. Moreover, reducing real-world turbulence is a more challenging task as there are no clean ground truth counterparts provided to the models during training. In this paper, we propose a real-world atmospheric turbulence mitigation model under a domain adaptation framework, which links the supervised simulated atmospheric turbulence correction with the unsupervised real-world atmospheric turbulence correction. We will show our proposed method enhances performance in real-world atmospheric turbulence scenarios, improving both image quality and downstream vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google