Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction

要約

この論文では、極端なオクルージョンを伴う複雑な非線形で動的なシーンにおけるローリング シャッター補正の問題を取り上げます。
既存の方法には 2 つの主な欠点があります。
第一に、均一速度の仮定により正確な補正フィールドを推定するという課題に直面しており、複雑な動きの下では重大な画像補正エラーが発生します。
第 2 に、複数のフレームを位置合わせして統合することが本質的に難しいため、動的なシーンでの劇的なオクルージョンにより、現在のソリューションではより良い画質を達成することができません。
これらの課題に取り組むために、ピクセルの曲線軌跡を分析的にモデル化し、個々のピクセルの高次補正フィールドを正確に推定する、ジオメトリベースの Quadratic Rolling Shutter (QRS) モーション ソルバーを提案します。
さらに、動的シーンで高品質のオクルージョン フレームを再構築するために、マルチフレーム コンテキストを効果的に位置合わせして集約する 3D ビデオ アーキテクチャ、つまり RSA2-Net を紹介します。
私たちは広範囲のカメラとビデオシーケンスにわたって私たちの方法を評価し、その重要な優位性を実証しました。
具体的には、私たちの方法は、Carla-RS、Fastec-RS、および BS-RSC データセットでの PSNR のそれぞれ +4.98、+0.77、および +4.33 で最先端技術を上回っています。
コードは https://github.com/DelinQu/qrsc で入手できます。

要約(オリジナル)

This paper addresses the problem of rolling shutter correction in complex nonlinear and dynamic scenes with extreme occlusion. Existing methods suffer from two main drawbacks. Firstly, they face challenges in estimating the accurate correction field due to the uniform velocity assumption, leading to significant image correction errors under complex motion. Secondly, the drastic occlusion in dynamic scenes prevents current solutions from achieving better image quality because of the inherent difficulties in aligning and aggregating multiple frames. To tackle these challenges, we model the curvilinear trajectory of pixels analytically and propose a geometry-based Quadratic Rolling Shutter (QRS) motion solver, which precisely estimates the high-order correction field of individual pixels. Besides, to reconstruct high-quality occlusion frames in dynamic scenes, we present a 3D video architecture that effectively Aligns and Aggregates multi-frame context, namely, RSA2-Net. We evaluate our method across a broad range of cameras and video sequences, demonstrating its significant superiority. Specifically, our method surpasses the state-of-the-art by +4.98, +0.77, and +4.33 of PSNR on Carla-RS, Fastec-RS, and BS-RSC datasets, respectively. Code is available at https://github.com/DelinQu/qrsc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google