ViSMaP: Unsupervised Hour-long Video Summarisation by Meta-Prompting

要約

VISMAP：監視されていないビデオ要約によるメタプロンプト、1時間の長さのビデオを要約しないシステムを紹介します。
ほとんどの既存のビデオ理解モデルは、事前にセグメント化されたイベントの短いビデオでうまく機能しますが、関連するイベントがまばらに配布され、事前に分割されていないより長いビデオを要約するのに苦労しています。
さらに、長い形式のビデオ理解は、多くの場合、費用がかかり、ゆっくりと矛盾が生じる広範な注釈が必要な、監視された階層的トレーニングに依存しています。
Vismapを使用すると、短いビデオ（注釈付きデータが豊富な）と長いビデオ（そうでない場合）の間のギャップを埋めます。
LLMSに依存して、短いものからのセグメントの説明を使用して、長いビデオの最適化された擬似スマーを作成します。
これらの擬似サマリーは、長いビデオの概要を生成するモデルのトレーニングデータとして使用され、長いビデオの高価な注釈の必要性をバイパスします。
具体的には、メタ促進戦略を採用して、長いビデオの擬似サマリーを作成するのを繰り返し生成および改良します。
この戦略は、要約を導くために、監視された短いビデオモデルから得られた短いクリップの説明を活用します。
各反復では、順番に動作する3つのLLMを使用します。1つはクリップ説明から擬似スマリーを生成し、もう1つは評価し、3つ目は発電機のプロンプトを最適化します。
擬似サマーの品質はジェネレータープロンプトに大きく依存しており、ビデオ間で大きく異なるため、この反復が必要です。
複数のデータセットで概要を広範囲に評価します。
私たちの結果は、VISMAPが完全に監視された最先端のモデルに匹敵するパフォーマンスを達成し、パフォーマンスを犠牲にすることなくドメイン全体で一般化することを示しています。
コードは公開時にリリースされます。

要約(オリジナル)

We introduce ViSMap: Unsupervised Video Summarisation by Meta Prompting, a system to summarise hour long videos with no-supervision. Most existing video understanding models work well on short videos of pre-segmented events, yet they struggle to summarise longer videos where relevant events are sparsely distributed and not pre-segmented. Moreover, long-form video understanding often relies on supervised hierarchical training that needs extensive annotations which are costly, slow and prone to inconsistency. With ViSMaP we bridge the gap between short videos (where annotated data is plentiful) and long ones (where it’s not). We rely on LLMs to create optimised pseudo-summaries of long videos using segment descriptions from short ones. These pseudo-summaries are used as training data for a model that generates long-form video summaries, bypassing the need for expensive annotations of long videos. Specifically, we adopt a meta-prompting strategy to iteratively generate and refine creating pseudo-summaries of long videos. The strategy leverages short clip descriptions obtained from a supervised short video model to guide the summary. Each iteration uses three LLMs working in sequence: one to generate the pseudo-summary from clip descriptions, another to evaluate it, and a third to optimise the prompt of the generator. This iteration is necessary because the quality of the pseudo-summaries is highly dependent on the generator prompt, and varies widely among videos. We evaluate our summaries extensively on multiple datasets; our results show that ViSMaP achieves performance comparable to fully supervised state-of-the-art models while generalising across domains without sacrificing performance. Code will be released upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google