Dereflection Any Image with Diffusion Priors and Diversified Data

要約

ターゲットシーンと不要な反射の間の複雑な絡み合いにより、単一の画像の反射除去は非常に困難なタスクのままです。
大幅に進歩したにもかかわらず、既存の方法は、高品質で多様なデータと不十分な復元症が不十分であることによって妨げられ、さまざまな現実世界のシナリオにおける一般化が限られています。
このホワイトペーパーでは、任意の画像、効率的なデータ準備パイプラインを備えた包括的なソリューション、および堅牢な反射除去のための一般化可能なモデルを提案します。
まず、ターゲットシーンでランダムに回転する反射媒体によって作成されたDiverse Reflection Removal（DRR）という名前のデータセットを導入し、反射角と強度のバリエーションを可能にし、規模、品質、多様性の新しいベンチマークを設定します。
第二に、決定論的な出力と高速推論のためのワンステップ拡散を備えた拡散ベースのフレームワークを提案します。
安定した学習を確保するために、私たちは、データセットを特徴付けるさまざまな反射パターン全体で一貫した出力を促進するために、反射不変性の微調整を含む3段階のプログレッシブトレーニング戦略を設計します。
広範な実験は、私たちの方法が一般的なベンチマークと挑戦的な野生画像の両方でSOTAパフォーマンスを達成し、多様な現実世界のシーン全体で優れた一般化を示すことを示しています。

要約(オリジナル)

Reflection removal of a single image remains a highly challenging task due to the complex entanglement between target scenes and unwanted reflections. Despite significant progress, existing methods are hindered by the scarcity of high-quality, diverse data and insufficient restoration priors, resulting in limited generalization across various real-world scenarios. In this paper, we propose Dereflection Any Image, a comprehensive solution with an efficient data preparation pipeline and a generalizable model for robust reflection removal. First, we introduce a dataset named Diverse Reflection Removal (DRR) created by randomly rotating reflective mediums in target scenes, enabling variation of reflection angles and intensities, and setting a new benchmark in scale, quality, and diversity. Second, we propose a diffusion-based framework with one-step diffusion for deterministic outputs and fast inference. To ensure stable learning, we design a three-stage progressive training strategy, including reflection-invariant finetuning to encourage consistent outputs across varying reflection patterns that characterize our dataset. Extensive experiments show that our method achieves SOTA performance on both common benchmarks and challenging in-the-wild images, showing superior generalization across diverse real-world scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google