Learning to Super-Resolve Blurry Images with Events

要約

単一モーション ブラー画像 (SRB) からの超解像は、モーション ブラーと低空間解像度の同時劣化による深刻な不適切な問題です。
このホワイト ペーパーでは、イベントを使用して SRB の負担を軽減し、イベント強化 SRB (E-SRB) アルゴリズムを提案します。
解像度 (LR)。
この目的を達成するために、低空間解像度、モーション ブラー、およびイベント ノイズを同時に考慮するイベント強化縮退モデルを定式化します。
次に、イベントと強度フレームの両方がスパース表現でモデル化されるデュアルスパース学習スキームに基づいて、イベント強化スパース学習ネットワーク (eSL-Net++) を構築します。
さらに、追加のトレーニング プロセスなしで単一フレーム SRB をシーケンス フレーム SRB に拡張するためのイベント シャッフル アンド マージ スキームを提案します。
合成および実世界のデータセットに関する実験結果は、提案された eSL-Net++ が最先端の方法よりも大幅に優れていることを示しています。
データセット、コード、その他の結果は、https://github.com/ShinyWang33/eSL-Net-Plusplus で入手できます。

要約(オリジナル)

Super-Resolution from a single motion Blurred image (SRB) is a severely ill-posed problem due to the joint degradation of motion blurs and low spatial resolution. In this paper, we employ events to alleviate the burden of SRB and propose an Event-enhanced SRB (E-SRB) algorithm, which can generate a sequence of sharp and clear images with High Resolution (HR) from a single blurry image with Low Resolution (LR). To achieve this end, we formulate an event-enhanced degeneration model to consider the low spatial resolution, motion blurs, and event noises simultaneously. We then build an event-enhanced Sparse Learning Network (eSL-Net++) upon a dual sparse learning scheme where both events and intensity frames are modeled with sparse representations. Furthermore, we propose an event shuffle-and-merge scheme to extend the single-frame SRB to the sequence-frame SRB without any additional training process. Experimental results on synthetic and real-world datasets show that the proposed eSL-Net++ outperforms state-of-the-art methods by a large margin. Datasets, codes, and more results are available at https://github.com/ShinyWang33/eSL-Net-Plusplus.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google