Deep Dynamic Scene Deblurring from Optical Flow

要約

ブレ除去は、視覚的により快適な写真を提供し、写真をより便利にするだけでなく、物体検出と追跡のパフォーマンスを向上させることもできます。
ただし、不均一なぼかしを数学的にモデル化することは難しいため、画像から動的なシーンのぼかしを除去することは簡単ではありません。
いくつかの方法では、最初に単一または複数の画像を使用してオプティカル フローを推定し (これはブラー カーネルの近似値として扱われます)、次に非ブラインドのブレ除去アルゴリズムを採用して鮮明な画像を再構成します。
ただし、これらの方法はエンド ツー エンドの方法でトレーニングすることはできず、通常は計算コストが高くなります。
このホワイト ペーパーでは、マルチスケールの空間バリアント リカレント ニューラル ネットワーク (RNN) を使用して動的なシーンのぼやけを除去するためのオプティカル フローについて説明します。
FlowNets を利用して、異なるスケールの 2 つの連続した画像からオプテ​​ィカル フローを推定します。
推定されたオプティカル フローは、さまざまなスケールで RNN の重みを提供するため、重みは、RNN が特徴空間のぼかしを除去するのに役立ちます。
最後に、畳み込みニューラル ネットワーク (CNN) を開発して、ブレ除去された特徴から鮮明な画像を復元します。
ベンチマーク データセットの定量的評価と定性的評価の両方で、提案された方法が精度、速度、およびモデル サイズの点で最先端のアルゴリズムに対して有利に機能することが示されています。

要約(オリジナル)

Deblurring can not only provide visually more pleasant pictures and make photography more convenient, but also can improve the performance of objection detection as well as tracking. However, removing dynamic scene blur from images is a non-trivial task as it is difficult to model the non-uniform blur mathematically. Several methods first use single or multiple images to estimate optical flow (which is treated as an approximation of blur kernels) and then adopt non-blind deblurring algorithms to reconstruct the sharp images. However, these methods cannot be trained in an end-to-end manner and are usually computationally expensive. In this paper, we explore optical flow to remove dynamic scene blur by using the multi-scale spatially variant recurrent neural network (RNN). We utilize FlowNets to estimate optical flow from two consecutive images in different scales. The estimated optical flow provides the RNN weights in different scales so that the weights can better help RNNs to remove blur in the feature spaces. Finally, we develop a convolutional neural network (CNN) to restore the sharp images from the deblurred features. Both quantitative and qualitative evaluations on the benchmark datasets demonstrate that the proposed method performs favorably against state-of-the-art algorithms in terms of accuracy, speed, and model size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google