Dynamic Typography: Bringing Text to Life via Video Diffusion Prior

要約

テキスト アニメーションは表現媒体として機能し、言葉に動きを吹き込んで感情を呼び起こし、意味を強調し、説得力のある物語を構築することで、静的なコミュニケーションを動的な体験に変換します。
意味を意識したアニメーションの作成には大きな課題があり、グラフィック デザインとアニメーションの専門知識が必要です。
我々は、2 つの困難なタスクを組み合わせた、「ダイナミック タイポグラフィ」と呼ばれる自動化されたテキスト アニメーション スキームを紹介します。
意味上の意味を伝えるために文字を変形し、ユーザーのプロンプトに基づいて活気のある動きを文字に吹き込みます。
私たちの技術は、ベクトル グラフィックス表現とエンドツーエンドの最適化ベースのフレームワークを利用しています。
このフレームワークは、ニューラル変位フィールドを使用して文字を基本形状に変換し、フレームごとの動きを適用して、意図したテキストの概念との一貫性を促進します。
アニメーション プロセス全体を通じて、可読性と構造の完全性を維持するために、形状保存技術と知覚損失の正則化が採用されています。
さまざまなテキストからビデオへのモデルにわたるアプローチの一般化可能性を実証し、個別のタスクで構成されている可能性のあるベースライン手法に対するエンドツーエンド手法の優​​位性を強調します。
定量的および定性的評価を通じて、可読性を維持しながらユーザープロンプトを忠実に解釈する一貫したテキストアニメーションを生成するフレームワークの有効性を実証します。
コードは https://animate-your-word.github.io/demo/ で入手できます。

要約(オリジナル)

Text animation serves as an expressive medium, transforming static communication into dynamic experiences by infusing words with motion to evoke emotions, emphasize meanings, and construct compelling narratives. Crafting animations that are semantically aware poses significant challenges, demanding expertise in graphic design and animation. We present an automated text animation scheme, termed ‘Dynamic Typography’, which combines two challenging tasks. It deforms letters to convey semantic meaning and infuses them with vibrant movements based on user prompts. Our technique harnesses vector graphics representations and an end-to-end optimization-based framework. This framework employs neural displacement fields to convert letters into base shapes and applies per-frame motion, encouraging coherence with the intended textual concept. Shape preservation techniques and perceptual loss regularization are employed to maintain legibility and structural integrity throughout the animation process. We demonstrate the generalizability of our approach across various text-to-video models and highlight the superiority of our end-to-end methodology over baseline methods, which might comprise separate tasks. Through quantitative and qualitative evaluations, we demonstrate the effectiveness of our framework in generating coherent text animations that faithfully interpret user prompts while maintaining readability. Our code is available at: https://animate-your-word.github.io/demo/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google