Real-Time Video Deblurring via Lightweight Motion Compensation

要約

動き補償は映像のデブラーリング品質を大幅に向上させるが、動き補償と映像のデブラーリングを別々に行うことは膨大な計算量を必要とする。本論文では、動画像のデブラーリングと動き補償を効率的にサポートする軽量なマルチタスクユニットからなるリアルタイム動画像デブラーリングフレームワークを提案する。マルチタスクユニットは、単一の共有ネットワークを用いて2つのタスクの大部分を処理するように特別に設計されており、マルチタスク詳細ネットワークとデブラーリングおよび動き補償のための単純ネットワークから構成されている。マルチタスクユニットは、映像のデブラーリングに動き補償を組み込むコストを最小限に抑え、リアルタイムのデブラーリングを可能にする。さらに、複数のマルチタスクユニットを重ねることで、コストとデブラーリング品質の間の柔軟な制御を実現する。本アプローチは、従来の手法に比べてはるかに高速に動作し、実用的なリアルタイム性能（DVDデータセットで30.99dB@30fpsを測定）を示すなど、最先端のデブラーリング品質を実験的に検証しています。

要約(オリジナル)

While motion compensation greatly improves video deblurring quality, separately performing motion compensation and video deblurring demands huge computational overhead. This paper proposes a real-time video deblurring framework consisting of a lightweight multi-task unit that supports both video deblurring and motion compensation in an efficient way. The multi-task unit is specifically designed to handle large portions of the two tasks using a single shared network, and consists of a multi-task detail network and simple networks for deblurring and motion compensation. The multi-task unit minimizes the cost of incorporating motion compensation into video deblurring and enables real-time deblurring. Moreover, by stacking multiple multi-task units, our framework provides flexible control between the cost and deblurring quality. We experimentally validate the state-of-the-art deblurring quality of our approach, which runs at a much faster speed compared to previous methods, and show practical real-time performance (30.99dB@30fps measured in the DVD dataset).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL