HSTR-Net: Reference Based Video Super-resolution with Dual Cameras

要約

高時空間解像度 (HSTR) ビデオ録画は、詳細な情報を必要とするさまざまな画像タスクを強化する上で重要な役割を果たします。
最先端のカメラは、コストが高くなりますが、この必要な高フレーム レートと高空間解像度を同時に提供します。
この問題を軽減するために、この論文では、参照ベースの超解像度 (RefSR) を使用して HSTR ビデオを生成するためのデュアル カメラ システムを提案します。
1 台のカメラは高空間解像度の低フレーム レート (HSLF) ビデオをキャプチャし、もう 1 台のカメラは同じシーンに対して低空間解像度の高フレーム レート (LSHF) ビデオを同時にキャプチャします。
HSLF と LSHF ビデオ フィードを融合し、HSTR ビデオ フレームを合成するための新しい深層学習アーキテクチャが提案されています。
提案されたモデルは、オプティカル フロー推定と (チャネルごとおよび空間的) アテンション メカニズムを組み合わせて、2 つのビデオ フィードのフレーム間の微細な動きと複雑な依存関係をキャプチャします。
シミュレーションの結果、提案されたモデルは、PSNR および SSIM メトリクスの点で、既存のリファレンスベースの SR 技術に比べて大幅な改善をもたらすことが示されています。
この方法は、デュアル カメラを搭載した電力に制約のあるドローンに展開した場合でも、空中監視に十分なフレーム/秒 (FPS) を示します。

要約(オリジナル)

High-spatio-temporal resolution (HSTR) video recording plays a crucial role in enhancing various imagery tasks that require fine-detailed information. State-of-the-art cameras provide this required high frame-rate and high spatial resolution together, albeit at a high cost. To alleviate this issue, this paper proposes a dual camera system for the generation of HSTR video using reference-based super-resolution (RefSR). One camera captures high spatial resolution low frame rate (HSLF) video while the other captures low spatial resolution high frame rate (LSHF) video simultaneously for the same scene. A novel deep learning architecture is proposed to fuse HSLF and LSHF video feeds and synthesize HSTR video frames. The proposed model combines optical flow estimation and (channel-wise and spatial) attention mechanisms to capture the fine motion and complex dependencies between frames of the two video feeds. Simulations show that the proposed model provides significant improvement over existing reference-based SR techniques in terms of PSNR and SSIM metrics. The method also exhibits sufficient frames per second (FPS) for aerial monitoring when deployed on a power-constrained drone equipped with dual cameras.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google