OneRestore: A Universal Restoration Framework for Composite Degradation

要約

現実世界のシナリオでは、画像障害は複合的な劣化として現れることが多く、低照度、霧、雨、雪などの要素の複雑な相互作用を示します。
この現実にもかかわらず、既存の修復方法は通常、孤立した劣化タイプを対象とするため、複数の劣化要因が共存する環境では不十分です。
このギャップを埋めるために、私たちの研究では、4 つの物理的破損パラダイムを統合して、複雑で複合的な劣化シナリオを正確に表現する汎用性の高いイメージング モデルを提案しています。
これに関連して、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである OneRestore を提案します。
提案されたフレームワークは、独自のクロスアテンション メカニズムを活用し、劣化したシーン記述子と画像特徴をマージして、微妙な復元を可能にします。
私たちのモデルでは、手動によるテキストの埋め込みから視覚的属性に基づく自動抽出まで、多彩な入力シーン記述子が可能です。
私たちの方法論は、モデルの制約を強化するために余分な劣化画像をネガティブ サンプルとして使用する複合劣化復元損失によってさらに強化されます。
合成データセットと現実世界のデータセットの比較結果は、OneRestore が優れたソリューションであることを示しており、複雑な複合的な劣化への対処において最先端技術を大幅に進歩させています。

要約(オリジナル)

In real-world scenarios, image impairments often manifest as composite degradations, presenting a complex interplay of elements such as low light, haze, rain, and snow. Despite this reality, existing restoration methods typically target isolated degradation types, thereby falling short in environments where multiple degrading factors coexist. To bridge this gap, our study proposes a versatile imaging model that consolidates four physical corruption paradigms to accurately represent complex, composite degradation scenarios. In this context, we propose OneRestore, a novel transformer-based framework designed for adaptive, controllable scene restoration. The proposed framework leverages a unique cross-attention mechanism, merging degraded scene descriptors with image features, allowing for nuanced restoration. Our model allows versatile input scene descriptors, ranging from manual text embeddings to automatic extractions based on visual attributes. Our methodology is further enhanced through a composite degradation restoration loss, using extra degraded images as negative samples to fortify model constraints. Comparative results on synthetic and real-world datasets demonstrate OneRestore as a superior solution, significantly advancing the state-of-the-art in addressing complex, composite degradations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google