VIRES: Video Instance Repainting via Sketch and Text Guided Generation

要約

スケッチとテキストのガイダンスを使用したビデオインスタンスの補償方法であるViresを紹介し、ビデオインスタンスの補償、交換、生成、および削除を可能にします。
既存のアプローチは、一時的な一貫性と、提供されたスケッチシーケンスとの正確な整合と格闘しています。
Viresは、テキスト間モデルの生成前の事前を活用して、時間的な一貫性を維持し、視覚的に心地よい結果を生み出します。
標準化されたセルフスケーリングを使用したシーケンシャルコントロールネットを提案します。これにより、構造レイアウトを効果的に抽出し、高コントラストのスケッチの詳細を適応的にキャプチャします。
さらに、スケッチの注意を払って拡散変圧器のバックボーンを強化し、細粒のスケッチセマンティクスを解釈および注入します。
スケッチ認識エンコーダーは、塗り直された結果が提供されたスケッチシーケンスと一致することを保証します。
さらに、ビデオインスタンスの編集方法のトレーニングと評価に合わせた詳細な注釈を備えたデータセットであるViresetを提供します。
実験結果は、ウイルスの有効性を示しており、視覚的な品質、時間的一貫性、条件アライメント、および人間の評価における最先端の方法よりも優れています。
プロジェクトページ：https：//hjzheng.net/projects/vires/

要約(オリジナル)

We introduce VIRES, a video instance repainting method with sketch and text guidance, enabling video instance repainting, replacement, generation, and removal. Existing approaches struggle with temporal consistency and accurate alignment with the provided sketch sequence. VIRES leverages the generative priors of text-to-video models to maintain temporal consistency and produce visually pleasing results. We propose the Sequential ControlNet with the standardized self-scaling, which effectively extracts structure layouts and adaptively captures high-contrast sketch details. We further augment the diffusion transformer backbone with the sketch attention to interpret and inject fine-grained sketch semantics. A sketch-aware encoder ensures that repainted results are aligned with the provided sketch sequence. Additionally, we contribute the VireSet, a dataset with detailed annotations tailored for training and evaluating video instance editing methods. Experimental results demonstrate the effectiveness of VIRES, which outperforms state-of-the-art methods in visual quality, temporal consistency, condition alignment, and human ratings. Project page: https://hjzheng.net/projects/VIRES/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google