OneRestore: A Universal Restoration Framework for Composite Degradation

要約

実世界のシナリオでは、画像障害はしばしば複合劣化として現れ、低照度、霞、雨、雪などの要素が複雑に絡み合っている。このような現実にもかかわらず、既存の復元手法は通常、劣化の種類を個別に対象としているため、複数の劣化要因が共存する環境では不十分である。このギャップを埋めるために、本研究では、複雑で複合的な劣化シナリオを正確に表現するために、4つの物理的劣化パラダイムを統合した汎用性の高い画像モデルを提案する。この文脈において、適応的で制御可能なシーン復元用に設計された、新しい変換器ベースのフレームワークであるOneRestoreを提案する。提案するフレームワークは、独自のクロスアテンションメカニズムを活用し、劣化したシーン記述子を画像特徴量と融合させることで、微妙な復元を可能にする。我々のモデルは、手動によるテキスト埋め込みから視覚属性に基づく自動抽出まで、多様な入力シーン記述子を可能にする。本手法は、モデルの制約を強化するためのネガティブサンプルとして、余分な劣化画像を用いた合成劣化復元損失により、さらに強化される。合成データセットと実世界データセットでの比較結果は、OneRestoreが優れたソリューションであることを実証し、複雑な合成劣化に対処する最先端技術を大幅に前進させる。

要約(オリジナル)

In real-world scenarios, image impairments often manifest as composite degradations, presenting a complex interplay of elements such as low light, haze, rain, and snow. Despite this reality, existing restoration methods typically target isolated degradation types, thereby falling short in environments where multiple degrading factors coexist. To bridge this gap, our study proposes a versatile imaging model that consolidates four physical corruption paradigms to accurately represent complex, composite degradation scenarios. In this context, we propose OneRestore, a novel transformer-based framework designed for adaptive, controllable scene restoration. The proposed framework leverages a unique cross-attention mechanism, merging degraded scene descriptors with image features, allowing for nuanced restoration. Our model allows versatile input scene descriptors, ranging from manual text embeddings to automatic extractions based on visual attributes. Our methodology is further enhanced through a composite degradation restoration loss, using extra degraded images as negative samples to fortify model constraints. Comparative results on synthetic and real-world datasets demonstrate OneRestore as a superior solution, significantly advancing the state-of-the-art in addressing complex, composite degradations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL