Restore Anything Pipeline: Segment Anything Meets Image Restoration

要約

最近の画像復元手法は、深層学習を使用して大幅な進歩を遂げています。
しかし、既存の方法は画像全体を単一の実体として扱う傾向があり、個々のテクスチャ特性を示す画像内の個別のオブジェクトを考慮することができません。
また、既存の方法では通常、単一の結果が生成され、異なるユーザーの好みに合わない可能性があります。
このペーパーでは、Restore Anything Pipeline (RAP) を紹介します。これは、ユーザーが選択できるさまざまな結果を生成する制御可能なモデルを組み込んだ、新しいインタラクティブでオブジェクト単位の画像復元アプローチです。
RAP は、最新の Segment Anything Model (SAM) による画像セグメンテーションを制御可能な画像復元モデルに組み込んで、いくつかの画像復元タスク用の使いやすいパイプラインを作成します。
RAP を 3 つの一般的な画像復元タスク ​​(画像のブレ除去、画像のノイズ除去、および JPEG アーティファクトの除去) に適用することで、RAP の多用途性を実証します。
私たちの実験は、RAP が最先端の方法と比較して優れた視覚的結果を生み出すことを示しています。
RAP は画像復元の有望な方向性を示しており、ユーザーがより詳細に制御できるようになり、オブジェクト レベルでの画像復元が可能になります。

要約(オリジナル)

Recent image restoration methods have produced significant advancements using deep learning. However, existing methods tend to treat the whole image as a single entity, failing to account for the distinct objects in the image that exhibit individual texture properties. Existing methods also typically generate a single result, which may not suit the preferences of different users. In this paper, we introduce the Restore Anything Pipeline (RAP), a novel interactive and per-object level image restoration approach that incorporates a controllable model to generate different results that users may choose from. RAP incorporates image segmentation through the recent Segment Anything Model (SAM) into a controllable image restoration model to create a user-friendly pipeline for several image restoration tasks. We demonstrate the versatility of RAP by applying it to three common image restoration tasks: image deblurring, image denoising, and JPEG artifact removal. Our experiments show that RAP produces superior visual results compared to state-of-the-art methods. RAP represents a promising direction for image restoration, providing users with greater control, and enabling image restoration at an object level.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google