Inversion-Free Video Style Transfer with Trajectory Reset Attention Control and Content-Style Bridging

要約

ビデオスタイルの転送は、コンテンツを保存しながら、ビデオのスタイルを変更することを目的としています。
特に、正確なスタイルを転送することを目的とした画像駆動型のアプローチを使用する場合、以前の方法はコンテンツの漏れやスタイルの不整合に苦労することがよくあります。
この作業では、コンテンツの完全性を維持しながら高品質のスタイル転送を可能にする新しい方法であるTrajectory Reset Attonest Control（TRAC）を導入します。
TRACは、除去軌道をリセットし、注意制御を実施することで動作し、コンテンツの一貫性を強化しながら、反転ベースの方法に対する計算コストを大幅に削減します。
さらに、スタイルメディアと呼ばれる概念が導入され、コンテンツとスタイルの間のギャップを埋めるために導入され、スタイル要素のより正確で調和のとれた転送が可能になります。
これらの概念に基づいて、画像スタイルとビデオスタイルの両方の転送に安定した柔軟で効率的なソリューションを提供するチューニングフリーフレームワークを紹介します。
実験結果は、提案されたフレームワークが、正確なコンテンツの保存から、活気に満ちた表現力豊かなスタイルで視覚的に印象的な結果の生成まで、幅広い様式化された出力に対応することを示しています。

要約(オリジナル)

Video style transfer aims to alter the style of a video while preserving its content. Previous methods often struggle with content leakage and style misalignment, particularly when using image-driven approaches that aim to transfer precise styles. In this work, we introduce Trajectory Reset Attention Control (TRAC), a novel method that allows for high-quality style transfer while preserving content integrity. TRAC operates by resetting the denoising trajectory and enforcing attention control, thus enhancing content consistency while significantly reducing the computational costs against inversion-based methods. Additionally, a concept termed Style Medium is introduced to bridge the gap between content and style, enabling a more precise and harmonious transfer of stylistic elements. Building upon these concepts, we present a tuning-free framework that offers a stable, flexible, and efficient solution for both image and video style transfer. Experimental results demonstrate that our proposed framework accommodates a wide range of stylized outputs, from precise content preservation to the production of visually striking results with vibrant and expressive styles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google