Fast Full-frame Video Stabilization with Iterative Optimization

要約

ビデオの安定化とは、不安定なビデオを視覚的に快適なものに変換する問題を指します。
ビジュアル品質と計算速度の間で適切なトレードオフをどのように達成するかという問題は、ビデオ安定化における未解決の課題の 1 つです。
ぐらつくフレームとジグソーパズルの類似性に着想を得て、ビデオ安定化のための合成データセットを使用した反復的な最適化ベースの学習アプローチを提案します。これは、動作軌跡のスムージングとフルフレームのアウトペイントという 2 つの相互作用するサブモジュールで構成されます。
まず、確率的な流れ場に基づいた 2 レベル (粗いから細かい) の安定化アルゴリズムを開発します。
推定されたオプティカル フローに関連付けられた信頼度マップは、バックプロパゲーションによる共有領域の検索をガイドするために利用されます。
次に、分割統治アプローチを採用し、フルフレームの安定したビューをレンダリングするための新しいマルチフレーム フュージョン戦略を提案します。
私たちの反復最適化アプローチによってもたらされた重要な新しい洞察は、ターゲット ビデオをビデオ安定化のための非線形マッピングの固定点として解釈できることです。
私たちはビデオの安定化を、動きの軌跡のぎくしゃく感の量を最小限に抑える問題として定式化し、固定点理論の助けを借りて収束を保証します。
広範な実験結果は、計算速度と視覚的品質の点で提案されたアプローチの優位性を実証するために報告されています。
コードは GitHub で入手できるようになります。

要約(オリジナル)

Video stabilization refers to the problem of transforming a shaky video into a visually pleasing one. The question of how to strike a good trade-off between visual quality and computational speed has remained one of the open challenges in video stabilization. Inspired by the analogy between wobbly frames and jigsaw puzzles, we propose an iterative optimization-based learning approach using synthetic datasets for video stabilization, which consists of two interacting submodules: motion trajectory smoothing and full-frame outpainting. First, we develop a two-level (coarse-to-fine) stabilizing algorithm based on the probabilistic flow field. The confidence map associated with the estimated optical flow is exploited to guide the search for shared regions through backpropagation. Second, we take a divide-and-conquer approach and propose a novel multiframe fusion strategy to render full-frame stabilized views. An important new insight brought about by our iterative optimization approach is that the target video can be interpreted as the fixed point of nonlinear mapping for video stabilization. We formulate video stabilization as a problem of minimizing the amount of jerkiness in motion trajectories, which guarantees convergence with the help of fixed-point theory. Extensive experimental results are reported to demonstrate the superiority of the proposed approach in terms of computational speed and visual quality. The code will be available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google