Reimagining Reality: A Comprehensive Survey of Video Inpainting Techniques

要約

このペーパーでは、コンピューター ビジョンと人工知能の重要なサブセットであるビデオ修復技術の最近の進歩についての包括的な分析を提供します。
ビデオ シーケンスの欠落または破損した部分を妥当なコンテンツで復元または埋めるプロセスとして、ビデオ インペインティングはディープ ラーニング手法の出現により大幅に進化しました。
既存の手法が多数存在し、その急速な発展にもかかわらず、状況は依然複雑であり、初心者と実績のある研究者の両方に課題を突きつけています。
私たちの研究では、主要なテクニック、その基礎となる理論、およびその効果的な応用を分析します。
さらに、視覚的な品質と計算効率という、見落とされがちな 2 つの側面を中心に、徹底的な比較研究を実施します。
私たちは視覚的な品質を評価するために人間中心のアプローチを採用し、アノテーターのパネルにさまざまなビデオ修復技術の出力を評価してもらいます。
これにより、従来の定量的指標を補完する微妙な定性的理解が得られます。
同時に、計算​​の側面を詳しく調査し、標準化されたハードウェア設定全体で推論時間とメモリ需要を比較します。
この分析は、品質と効率のバランスを強調しています。これは、リソースに制約がある実際のアプリケーションにとって重要な考慮事項です。
この調査は、人による検証と計算リソースの比較を統合することにより、ビデオ修復技術の現在の状況を明らかにするだけでなく、この活気に満ちた進化する分野における将来の探索の方向性を示すものでもあります。

要約(オリジナル)

This paper offers a comprehensive analysis of recent advancements in video inpainting techniques, a critical subset of computer vision and artificial intelligence. As a process that restores or fills in missing or corrupted portions of video sequences with plausible content, video inpainting has evolved significantly with the advent of deep learning methodologies. Despite the plethora of existing methods and their swift development, the landscape remains complex, posing challenges to both novices and established researchers. Our study deconstructs major techniques, their underpinning theories, and their effective applications. Moreover, we conduct an exhaustive comparative study, centering on two often-overlooked dimensions: visual quality and computational efficiency. We adopt a human-centric approach to assess visual quality, enlisting a panel of annotators to evaluate the output of different video inpainting techniques. This provides a nuanced qualitative understanding that complements traditional quantitative metrics. Concurrently, we delve into the computational aspects, comparing inference times and memory demands across a standardized hardware setup. This analysis underscores the balance between quality and efficiency: a critical consideration for practical applications where resources may be constrained. By integrating human validation and computational resource comparison, this survey not only clarifies the present landscape of video inpainting techniques but also charts a course for future explorations in this vibrant and evolving field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google