Restore Anything Pipeline: Segment Anything Meets Image Restoration

要約

最近の画像復元手法は、ディープラーニングを用いて大きな進歩を遂げている。しかし、既存の手法は画像全体を単一の実体として扱う傾向があり、個々のテクスチャ特性を示す画像内の明確なオブジェクトを考慮できていない。また、既存の手法は一般的に単一の結果を生成するため、異なるユーザーの好みに合わない可能性がある。本論文では、ユーザが選択できる異なる結果を生成するために制御可能なモデルを組み込んだ、新しい対話的でオブジェクトレベルの画像復元アプローチであるRestore Anything Pipeline (RAP)を紹介する。RAPは、制御可能な画像復元モデルに、最近のSegment Anything Model (SAM)による画像セグメンテーションを組み込み、いくつかの画像復元タスクのためのユーザーフレンドリーなパイプラインを作成する。我々は、RAPを3つの一般的な画像復元タスクに適用することにより、RAPの多用途性を実証する：画像デブラーリング、画像ノイズ除去、JPEGアーチファクト除去。我々の実験は、RAPが最先端の手法と比較して優れた視覚的結果をもたらすことを示している。RAPは画像復元の有望な方向性を示しており、ユーザにより大きな制御を提供し、オブジェクトレベルでの画像復元を可能にする。

要約(オリジナル)

Recent image restoration methods have produced significant advancements using deep learning. However, existing methods tend to treat the whole image as a single entity, failing to account for the distinct objects in the image that exhibit individual texture properties. Existing methods also typically generate a single result, which may not suit the preferences of different users. In this paper, we introduce the Restore Anything Pipeline (RAP), a novel interactive and per-object level image restoration approach that incorporates a controllable model to generate different results that users may choose from. RAP incorporates image segmentation through the recent Segment Anything Model (SAM) into a controllable image restoration model to create a user-friendly pipeline for several image restoration tasks. We demonstrate the versatility of RAP by applying it to three common image restoration tasks: image deblurring, image denoising, and JPEG artifact removal. Our experiments show that RAP produces superior visual results compared to state-of-the-art methods. RAP represents a promising direction for image restoration, providing users with greater control, and enabling image restoration at an object level.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL