Leveraging Synthetic Data to Learn Video Stabilization Under Adverse Conditions

要約

ビデオの安定化は、ビデオの品質を向上させるために中心的な役割を果たします。
ただし、これらの方法によって大幅な進歩が見られたにもかかわらず、それらは主に標準的な天候および照明条件下でテストされており、悪条件下では性能が低下する可能性があります.
この論文では、実際のデータを必要とせず、合成データでのみトレーニングできるビデオ安定化のための合成認識悪天候ロバストアルゴリズムを提案します。
また、自動グラウンド トゥルース抽出手順で必要なトレーニング データを生成する新しいレンダリング エンジンである Silver も紹介します。
私たちのアプローチは、アフィン変換行列推定器をトレーニングするために特別に生成された合成データを使用して、現在の方法が直面している特徴抽出の問題を回避します。
さらに、悪条件下でのビデオ安定化データセットが利用できないため、評価用に新しい VSAC105Real データセットを提案します。
2 つのベンチマークを使用して、この方法を 5 つの最先端のビデオ安定化アルゴリズムと比較します。
私たちの結果は、現在のアプローチが少なくとも 1 つの気象条件でうまく機能しないこと、および合成データのみを使用した小さなデータセットでのトレーニングでさえ、安定性平均スコア、歪みスコア、成功率、および平均クロッピングの点で最高のパフォーマンスを達成することを示しています。
すべての気象条件を考慮した場合の比率。
したがって、私たちのビデオ安定化モデルは、実世界のビデオでうまく一般化し、収束するために大規模な合成トレーニング データを必要としません。

要約(オリジナル)

Video stabilization plays a central role to improve videos quality. However, despite the substantial progress made by these methods, they were, mainly, tested under standard weather and lighting conditions, and may perform poorly under adverse conditions. In this paper, we propose a synthetic-aware adverse weather robust algorithm for video stabilization that does not require real data and can be trained only on synthetic data. We also present Silver, a novel rendering engine to generate the required training data with an automatic ground-truth extraction procedure. Our approach uses our specially generated synthetic data for training an affine transformation matrix estimator avoiding the feature extraction issues faced by current methods. Additionally, since no video stabilization datasets under adverse conditions are available, we propose the novel VSAC105Real dataset for evaluation. We compare our method to five state-of-the-art video stabilization algorithms using two benchmarks. Our results show that current approaches perform poorly in at least one weather condition, and that, even training in a small dataset with synthetic data only, we achieve the best performance in terms of stability average score, distortion score, success rate, and average cropping ratio when considering all weather conditions. Hence, our video stabilization model generalizes well on real-world videos and does not require large-scale synthetic training data to converge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google