BANet: Blur-aware Attention Networks for Dynamic Scene Deblurring

要約

画像のモーション ブラーは、オブジェクトの動きとカメラの揺れの組み合わせによって生じます。このようなブラー効果は、一般に方向性があり、不均一です。
以前の研究では、適切な結果を得るために、自己注意を伴う自己反復マルチスケール、マルチパッチ、またはマルチテンポラル アーキテクチャを使用して不均一なぼかしを解決しようとしました。
ただし、自己再帰型フレームワークを使用すると、通常は推論時間が長くなりますが、ピクセル間またはチャネル間の自己注意により、メモリが過剰に使用される可能性があります。
この論文では、単一のフォワードパスを介して正確かつ効率的なブレ除去を実現する、ブラー認識アテンションネットワーク (BANet) を提案します。
当社の BANet は、マルチカーネル ストリップ プーリングを使用した領域ベースのセルフアテンションを利用して、さまざまな大きさと向きのぼかしパターンを解きほぐし、カスケードされた並列拡張畳み込みを使用して、マルチスケールのコンテンツ機能を集約します。
GoPro および RealBlur ベンチマークに関する広範な実験結果は、提案された BANet がぼやけた画像の復元における最先端技術に対して有利に機能し、リアルタイムでぼけを除去した結果を提供できることを示しています。

要約(オリジナル)

Image motion blur results from a combination of object motions and camera shakes, and such blurring effect is generally directional and non-uniform. Previous research attempted to solve non-uniform blurs using self-recurrent multiscale, multi-patch, or multi-temporal architectures with self-attention to obtain decent results. However, using self-recurrent frameworks typically lead to a longer inference time, while inter-pixel or inter-channel self-attention may cause excessive memory usage. This paper proposes a Blur-aware Attention Network (BANet), that accomplishes accurate and efficient deblurring via a single forward pass. Our BANet utilizes region-based self-attention with multi-kernel strip pooling to disentangle blur patterns of different magnitudes and orientations and cascaded parallel dilated convolution to aggregate multi-scale content features. Extensive experimental results on the GoPro and RealBlur benchmarks demonstrate that the proposed BANet performs favorably against the state-of-the-arts in blurred image restoration and can provide deblurred results in real-time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google