CVPR 2023 Text Guided Video Editing Competition

要約

人間は 1 日に 10 億時間以上のビデオを視聴しています。
このビデオの大部分は手動で編集されており、これは面倒なプロセスです。
しかし、AI を活用したビデオ生成とビデオ編集は増加傾向にあります。
Stable Diffusion や Imagen などのテキストから画像へのモデルに基づいて構築された生成 AI は、ビデオ タスクにおいて大幅に改善されました。
しかし、標準的なベンチマークがないため、これらのビデオタスクの進捗を評価するのは困難です。
そこで、私たちはテキストガイド付きビデオ編集 (TGVE) 用の新しいデータセットを提案し、CVPR で TGVE データセット上のモデルを評価するコンテストを実施します。
本稿では、コンテストの振り返りと勝利方法について説明します。
競合データセットは https://sites.google.com/view/loveucvpr23/track4 で入手できます。

要約(オリジナル)

Humans watch more than a billion hours of video per day. Most of this video was edited manually, which is a tedious process. However, AI-enabled video-generation and video-editing is on the rise. Building on text-to-image models like Stable Diffusion and Imagen, generative AI has improved dramatically on video tasks. But it’s hard to evaluate progress in these video tasks because there is no standard benchmark. So, we propose a new dataset for text-guided video editing (TGVE), and we run a competition at CVPR to evaluate models on our TGVE dataset. In this paper we present a retrospective on the competition and describe the winning method. The competition dataset is available at https://sites.google.com/view/loveucvpr23/track4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google