Utilizing Multi-step Loss for Single Image Reflection Removal

要約

画像の反射を除去することは、画質を回復するために非常に重要です。
歪んだ画像は、物体の検出や画像のセグメンテーションなどのタスクに悪影響を与える可能性があります。
この論文では、単一の画像を使用して画像反射を除去するための新しいアプローチを紹介します。
モデル アーキテクチャに焦点を当てる代わりに、入力と出力が本質的に類似している画像間問題に一般化できる新しいトレーニング手法を導入します。
この技術は、反射除去タスクで効果的であることが証明されている、多段階損失メカニズムに具体化されています。
さらに、Pix2Pix GAN を使用して RefGAN と呼ばれる高品質の非線形合成データセットを合成することで、反射除去トレーニング データの不足に対処しています。
このデータセットにより、反射除去のためのより良いパターンを学習するモデルの能力が大幅に強化されます。
また、周囲画像の深度推定から抽出された範囲深度マップを補助機能として利用し、反射に対する深度推定が欠如しているという特性を利用します。
私たちのアプローチは、SIR^2 ベンチマークや他の現実世界のデータセットで優れたパフォーマンスを実証し、他の最先端のモデルを上回るパフォーマンスでその有効性を証明しています。

要約(オリジナル)

Image reflection removal is crucial for restoring image quality. Distorted images can negatively impact tasks like object detection and image segmentation. In this paper, we present a novel approach for image reflection removal using a single image. Instead of focusing on model architecture, we introduce a new training technique that can be generalized to image-to-image problems, with input and output being similar in nature. This technique is embodied in our multi-step loss mechanism, which has proven effective in the reflection removal task. Additionally, we address the scarcity of reflection removal training data by synthesizing a high-quality, non-linear synthetic dataset called RefGAN using Pix2Pix GAN. This dataset significantly enhances the model’s ability to learn better patterns for reflection removal. We also utilize a ranged depth map, extracted from the depth estimation of the ambient image, as an auxiliary feature, leveraging its property of lacking depth estimations for reflections. Our approach demonstrates superior performance on the SIR^2 benchmark and other real-world datasets, proving its effectiveness by outperforming other state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google