UniUIR: Considering Underwater Image Restoration as An All-in-One Learner

要約

既存の水中画像修復 (UIR) 方法は、一般的に色の歪みのみを処理するか、色と曇りの問題に同時に対処しますが、水中シーンで発生する可能性のあるより複雑な劣化を見落とすことがよくあります。
この制限に対処するために、現実世界の水中の混合歪みの複雑なシナリオをオールインワンの方法として考慮した、UniUIR と呼ばれるユニバーサル水中画像復元方法を提案します。
劣化特有の問題を分離し、UIR タスクにおけるさまざまな劣化間の相互相関を調査するために、Mamba Mixture-of-Experts モジュールを設計しました。
このモジュールにより、各専門家は、線形複雑性に基づいたグローバルな特徴表現を維持しながら、異なる種類の劣化を特定し、タスク固有の事前分布を共同で抽出できるようになります。
この基盤に基づいて、劣化表現を強化し、複数の種類の劣化を処理するときに発生するタスクの競合に対処するために、空間周波数事前ジェネレーターを導入します。
このモジュールは、空間領域と周波数領域の両方で劣化事前情報を抽出し、画像コンテンツに基づいてタスク固有の最適なプロンプトを適応的に選択することで、画像復元の精度を向上させます。
最後に、UIR タスクにおける複雑な領域依存の歪みにより効果的に対処するために、大規模な事前トレーニングされた深度予測モデルから得られた深度情報を組み込むことで、ネットワークがさまざまな画像領域にわたる深度の変化を認識して活用し、局所的な処理を行うことができるようになります。
劣化。
広範な実験により、UniUIR が定性的および定量的比較にわたってより魅力的な結果を生成できることが実証され、最先端の方法よりも強力な一般化が示されています。

要約(オリジナル)

Existing underwater image restoration (UIR) methods generally only handle color distortion or jointly address color and haze issues, but they often overlook the more complex degradations that can occur in underwater scenes. To address this limitation, we propose a Universal Underwater Image Restoration method, termed as UniUIR, considering the complex scenario of real-world underwater mixed distortions as an all-in-one manner. To decouple degradation-specific issues and explore the inter-correlations among various degradations in UIR task, we designed the Mamba Mixture-of-Experts module. This module enables each expert to identify distinct types of degradation and collaboratively extract task-specific priors while maintaining global feature representation based on linear complexity. Building upon this foundation, to enhance degradation representation and address the task conflicts that arise when handling multiple types of degradation, we introduce the spatial-frequency prior generator. This module extracts degradation prior information in both spatial and frequency domains, and adaptively selects the most appropriate task-specific prompts based on image content, thereby improving the accuracy of image restoration. Finally, to more effectively address complex, region-dependent distortions in UIR task, we incorporate depth information derived from a large-scale pre-trained depth prediction model, thereby enabling the network to perceive and leverage depth variations across different image regions to handle localized degradation. Extensive experiments demonstrate that UniUIR can produce more attractive results across qualitative and quantitative comparisons, and shows strong generalization than state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google