Harnessing Meta-Learning for Improving Full-Frame Video Stabilization

要約

ビデオ安定化は長年にわたるコンピュータ ビジョンの問題であり、特にフル フレームを合成するビデオ安定化のためのピクセル レベルの合成ソリューションは、このタスクの複雑さをさらに高めます。
これらの技術は、対象となるビデオの安定性を高めながら、フルフレームを合成することでビデオを安定させることを目的としています。
これにより、各ビデオ シーケンスに存在する固有のモーション プロファイルとビジュアル コンテンツが明確に混在するため、タスクの複雑さが増大し、固定パラメータによる堅牢な一般化が困難になります。
私たちの研究では、これらのモデルを個々の入力ビデオ シーケンスに適応させることで、ビデオ安定化のためのピクセル レベルの合成ソリューションのパフォーマンスを向上させる新しいアプローチを紹介します。
提案された適応では、テスト中にアクセスできる低レベルの視覚的手がかりを活用して、結果として得られるビデオの安定性と品質の両方を向上させます。
これらのモデルの 1 つを簡単に微調整し、その後メタ学習技術の統合によって大幅な安定性が向上するという「テスト時適応」という方法論の有効性を強調します。
注目すべきことに、たった 1 回の適応ステップで大幅な改善が達成されます。
提案されたアルゴリズムの多用途性は、現実世界のシナリオにおけるビデオ安定化のためのさまざまなピクセルレベルの合成モデルのパフォーマンスを一貫して向上させることによって実証されます。

要約(オリジナル)

Video stabilization is a longstanding computer vision problem, particularly pixel-level synthesis solutions for video stabilization which synthesize full frames add to the complexity of this task. These techniques aim to stabilize videos by synthesizing full frames while enhancing the stability of the considered video. This intensifies the complexity of the task due to the distinct mix of unique motion profiles and visual content present in each video sequence, making robust generalization with fixed parameters difficult. In our study, we introduce a novel approach to enhance the performance of pixel-level synthesis solutions for video stabilization by adapting these models to individual input video sequences. The proposed adaptation exploits low-level visual cues accessible during test-time to improve both the stability and quality of resulting videos. We highlight the efficacy of our methodology of ‘test-time adaptation’ through simple fine-tuning of one of these models, followed by significant stability gain via the integration of meta-learning techniques. Notably, significant improvement is achieved with only a single adaptation step. The versatility of the proposed algorithm is demonstrated by consistently improving the performance of various pixel-level synthesis models for video stabilization in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google