SAM-Deblur: Let Segment Anything Boost Image Deblurring

要約

画像のブレ除去は、画像復元の分野において重要なタスクであり、ブレたアーティファクトを除去することを目的としています。
ただし、不均一なブラーに対処するという課題は、既存のブラー除去モデルの一般化パフォーマンスを制限する不適切な設定の問題につながります。
この問題を解決するために、SAM-Deblur フレームワークを提案します。SAM (Segment Anything Model) の事前知識を初めてぶれ除去タスクに統合します。
特に、SAM-Deblur は 3 つの段階に分かれています。
まず、ぼやけた画像を前処理し、SAM を介してセグメント マスクを取得し、モデルの堅牢性を高めるトレーニング用のマスク ドロップアウト手法を提案します。
次に、SAM によって生成された構造事前分布を最大限に活用するために、SAM によって生成されたセグメント化された領域を平均化するように特別に設計されたマスク平均プーリング (MAP) ユニットを提案します。これは、既存のブレ除去ネットワークにシームレスに統合できるプラグアンドプレイ コンポーネントとして機能します。
。
最後に、MAP ユニットによって生成された融合された特徴をぼけ除去モデルに入力して、鮮明な画像を取得します。
RealBlurJ、ReloBlur、REDS データセットの実験結果から、私たちの手法を組み込むと、GoPro でトレーニングされた NAFNet の PSNR がそれぞれ 0.05、0.96、7.03 向上することがわかりました。
プロジェクト ページは、GitHub \href{https://hplqaq.github.io/projects/sam-deblur}{HPLQAQ/SAM-Deblur} で入手できます。

要約(オリジナル)

Image deblurring is a critical task in the field of image restoration, aiming to eliminate blurring artifacts. However, the challenge of addressing non-uniform blurring leads to an ill-posed problem, which limits the generalization performance of existing deblurring models. To solve the problem, we propose a framework SAM-Deblur, integrating prior knowledge from the Segment Anything Model (SAM) into the deblurring task for the first time. In particular, SAM-Deblur is divided into three stages. First, we preprocess the blurred images, obtain segment masks via SAM, and propose a mask dropout method for training to enhance model robustness. Then, to fully leverage the structural priors generated by SAM, we propose a Mask Average Pooling (MAP) unit specifically designed to average SAM-generated segmented areas, serving as a plug-and-play component which can be seamlessly integrated into existing deblurring networks. Finally, we feed the fused features generated by the MAP Unit into the deblurring model to obtain a sharp image. Experimental results on the RealBlurJ, ReloBlur, and REDS datasets reveal that incorporating our methods improves GoPro-trained NAFNet’s PSNR by 0.05, 0.96, and 7.03, respectively. Project page is available at GitHub \href{https://hplqaq.github.io/projects/sam-deblur}{HPLQAQ/SAM-Deblur}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google