HSTR-Net: Reference Based Video Super-resolution for Aerial Surveillance with Dual Cameras

要約

航空監視では、物体のより正確な検出と追跡のために、高時空間解像度 (HSTR) ビデオが必要です。
これは、調査対象領域が広く、対象物体が小さい広域監視 (WAS) に特に当てはまります。
この論文では、参照ベースの超解像度 (RefSR) を使用して HSTR ビデオを生成するためのデュアル カメラ システムを提案します。
1 台のカメラは高空間解像度の低フレーム レート (HSLF) ビデオをキャプチャし、もう 1 台のカメラは同じシーンに対して低空間解像度の高フレーム レート (LSHF) ビデオを同時にキャプチャします。
HSLF と LSHF ビデオ フィードを融合し、出力で HSTR ビデオ フレームを合成するための新しい深層学習アーキテクチャが提案されています。
提案されたモデルは、オプティカル フロー推定と (チャネルごとおよび空間的) アテンション メカニズムを組み合わせて、2 つのビデオ フィードのフレーム間の微細な動きと複雑な依存関係をキャプチャします。
シミュレーションの結果、提案されたモデルは、PSNR および SSIM メトリクスの点で、既存のリファレンスベースの SR 技術に比べて大幅な改善をもたらすことが示されています。
この方法は、デュアル カメラを搭載した電力に制約のあるドローンに展開した場合でも、WAS に十分な 1 秒あたりのフレーム数 (FPS) を示します。

要約(オリジナル)

Aerial surveillance requires high spatio-temporal resolution (HSTR) video for more accurate detection and tracking of objects. This is especially true for wide-area surveillance (WAS), where the surveyed region is large and the objects of interest are small. This paper proposes a dual camera system for the generation of HSTR video using reference-based super-resolution (RefSR). One camera captures high spatial resolution low frame rate (HSLF) video while the other captures low spatial resolution high frame rate (LSHF) video simultaneously for the same scene. A novel deep learning architecture is proposed to fuse HSLF and LSHF video feeds and synthesize HSTR video frames at the output. The proposed model combines optical flow estimation and (channel-wise and spatial) attention mechanisms to capture the fine motion and intricate dependencies between frames of the two video feeds. Simulations show that the proposed model provides significant improvement over existing reference-based SR techniques in terms of PSNR and SSIM metrics. The method also exhibits sufficient frames per second (FPS) for WAS when deployed on a power-constrained drone equipped with dual cameras.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google