MotiF: Making Text Count in Image Animation with Motion Focal Loss

要約

Text-Image-to-Video (TI2V) 生成は、テキストの説明に続く画像からビデオを生成することを目的としています。これは、テキストガイド付き画像アニメーションとも呼ばれます。
既存の方法のほとんどは、特にモーションが指定されている場合に、テキスト プロンプトとうまく一致するビデオを生成するのに苦労します。
この制限を克服するために、MotiF を導入します。これは、モデルの学習をより多くの動きのある領域に向けることにより、テキストの配置と動きの生成を改善する、シンプルかつ効果的なアプローチです。
オプティカル フローを使用してモーション ヒートマップを生成し、モーションの強度に応じて損失を重み付けします。
この修正された目標は顕著な改善をもたらし、モーション事前分布をモデル入力として利用する既存の方法を補完します。
さらに、TI2V 生成を評価するための多様なベンチマークが不足しているため、堅牢な評価のために 320 個の画像とテキストのペアで構成されるデータセットである TI2V ベンチを提案します。
我々は、アノテーターに 2 つのビデオ間の全体的な好みを選択し、その後その理由を選択するよう求める人間による評価プロトコルを提示します。
TI2V ベンチでの包括的な評価を通じて、MotiF は 9 つのオープンソース モデルを上回り、平均 72% の優先度を達成しました。
TI2V ベンチは https://wang-sj16.github.io/motif/ でリリースされます。

要約(オリジナル)

Text-Image-to-Video (TI2V) generation aims to generate a video from an image following a text description, which is also referred to as text-guided image animation. Most existing methods struggle to generate videos that align well with the text prompts, particularly when motion is specified. To overcome this limitation, we introduce MotiF, a simple yet effective approach that directs the model’s learning to the regions with more motion, thereby improving the text alignment and motion generation. We use optical flow to generate a motion heatmap and weight the loss according to the intensity of the motion. This modified objective leads to noticeable improvements and complements existing methods that utilize motion priors as model inputs. Additionally, due to the lack of a diverse benchmark for evaluating TI2V generation, we propose TI2V Bench, a dataset consists of 320 image-text pairs for robust evaluation. We present a human evaluation protocol that asks the annotators to select an overall preference between two videos followed by their justifications. Through a comprehensive evaluation on TI2V Bench, MotiF outperforms nine open-sourced models, achieving an average preference of 72%. The TI2V Bench is released in https://wang-sj16.github.io/motif/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google