Spatiotemporal Deformation Perception for Fisheye Video Rectification

要約

魚眼画像の歪み補正は広く研究されていますが、魚眼ビデオの補正はまだとらえどころのない課題です。
魚眼ビデオのさまざまなフレームについて、既存の画像補正方法はシーケンスの相関関係を無視するため、補正されたビデオに一時的なジッタが生じます。
この問題を解決するために、フレームの重みを徐々に減らすことでジッター効果を軽減する、もっともらしいグローバル オプティカル フローを取得するための時間重み付けスキームを提案します。
その後、ビデオのフレーム間のオプティカル フローが促進され、魚眼ビデオの局所的な空間的変形が認識されることがわかります。
したがって、魚眼と歪みのないビデオの流れを通じて空間的な変形を導き出し、それによって予測結果の局所的な精度を高めます。
ただし、各フレームの独立した補正は、時間的な相関関係を乱します。
魚眼ビデオの特性により、歪んだ移動オブジェクトは別の瞬間に歪んでいないパターンを見つけることができる場合があります。
この目的のために、時間変形アグリゲーターは、フレーム間の変形相関を再構築し、信頼できるグローバル機能を提供するように設計されています。
私たちの方法は、エンドツーエンドの補正を実現し、SOTA 補正方法と比較して、補正品質と安定性の優位性を示しています。

要約(オリジナル)

Although the distortion correction of fisheye images has been extensively studied, the correction of fisheye videos is still an elusive challenge. For different frames of the fisheye video, the existing image correction methods ignore the correlation of sequences, resulting in temporal jitter in the corrected video. To solve this problem, we propose a temporal weighting scheme to get a plausible global optical flow, which mitigates the jitter effect by progressively reducing the weight of frames. Subsequently, we observe that the inter-frame optical flow of the video is facilitated to perceive the local spatial deformation of the fisheye video. Therefore, we derive the spatial deformation through the flows of fisheye and distorted-free videos, thereby enhancing the local accuracy of the predicted result. However, the independent correction for each frame disrupts the temporal correlation. Due to the property of fisheye video, a distorted moving object may be able to find its distorted-free pattern at another moment. To this end, a temporal deformation aggregator is designed to reconstruct the deformation correlation between frames and provide a reliable global feature. Our method achieves an end-to-end correction and demonstrates superiority in correction quality and stability compared with the SOTA correction methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google