Take a Prior from Other Tasks for Severe Blur Removal

要約

カメラとシーンの間の動きが大きいため、非常にぼやけた入力から明確な構造を復元することは困難な問題です。
一部の研究ではブレ除去のために人間の顔画像にセグメンテーション マップを適用していますが、オブジェクトと劣化はより複雑であり、不正確なセグメンテーション マップは詳細の損失につながるため、自然なシーンを扱うことができません。
一般的なシーンのブレ除去の場合、高レベルのビジョン タスクの下でのぼやけた画像と対応するシャープな画像の特徴空間は近くなります。これにより、他のタスク (分類など) に依存して、深刻なブレ除去のケースで包括的な事前学習を学習するようになります。
潜在的な詳細を回復するためのグローバルなコンテキストとシャープなローカル構造を含む事前確率を学習するために、知識の蒸留に基づくクロスレベルの機能学習戦略を提案します。
さらに、事前確率を効果的に統合するために、マルチレベルの集約と意味的注意変換を備えたセマンティック事前埋め込みレイヤーを提案します。
提案された事前確率を、UNet やその他の主流のブレ除去ベースラインを含むさまざまなモデルに導入し、深刻なブレ除去のパフォーマンスを向上させます。
自然画像のブレ除去ベンチマークと、GoPro や RealBlur データセットなどの実世界の画像に関する広範な実験により、この方法の有効性と一般化能力が実証されています。

要約(オリジナル)

Recovering clear structures from severely blurry inputs is a challenging problem due to the large movements between the camera and the scene. Although some works apply segmentation maps on human face images for deblurring, they cannot handle natural scenes because objects and degradation are more complex, and inaccurate segmentation maps lead to a loss of details. For general scene deblurring, the feature space of the blurry image and corresponding sharp image under the high-level vision task is closer, which inspires us to rely on other tasks (e.g. classification) to learn a comprehensive prior in severe blur removal cases. We propose a cross-level feature learning strategy based on knowledge distillation to learn the priors, which include global contexts and sharp local structures for recovering potential details. In addition, we propose a semantic prior embedding layer with multi-level aggregation and semantic attention transformation to integrate the priors effectively. We introduce the proposed priors to various models, including the UNet and other mainstream deblurring baselines, leading to better performance on severe blur removal. Extensive experiments on natural image deblurring benchmarks and real-world images, such as GoPro and RealBlur datasets, demonstrate our method’s effectiveness and generalization ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google