Beyond Training: Dynamic Token Merging for Zero-Shot Video Understanding

要約

マルチモーダル大手言語モデル（MLLM）の最近の進歩により、ビデオ理解のための新しい道が開かれました。
ただし、ゼロショットビデオタスクで高い忠実度を達成することは依然として困難です。
従来のビデオ処理方法は、微調整に大きく依存して、重要なデータと計算コストが発生する微妙な空間的詳細をキャプチャします。
対照的に、トレーニングのないアプローチは、効率的ですが、複雑なビデオコンテンツ全体でコンテキストが豊富な機能を維持することに堅牢性を欠いていることがよくあります。
この目的のために、重要なシーンの詳細を維持しながらトークン効率を適応的に最適化するゼロショットビデオ理解のための新しい動的トークンマージフレームワークであるDytoを提案します。
Dytoは、階層的なフレーム選択と二部トークンのマージ戦略を統合して、キーフレームを動的にクラスター化し、トークンシーケンスを選択的に圧縮し、計算効率とセマンティックな豊かさのバランスを取ります。
複数のベンチマークにわたる広範な実験は、Dytoの有効性を示しており、微調整された方法とトレーニングのない方法の両方と比較して優れた性能を達成し、ゼロショットビデオ理解のための新しい最先端の設定を実現しています。

要約(オリジナル)

Recent advancements in multimodal large language models (MLLMs) have opened new avenues for video understanding. However, achieving high fidelity in zero-shot video tasks remains challenging. Traditional video processing methods rely heavily on fine-tuning to capture nuanced spatial-temporal details, which incurs significant data and computation costs. In contrast, training-free approaches, though efficient, often lack robustness in preserving context-rich features across complex video content. To this end, we propose DYTO, a novel dynamic token merging framework for zero-shot video understanding that adaptively optimizes token efficiency while preserving crucial scene details. DYTO integrates a hierarchical frame selection and a bipartite token merging strategy to dynamically cluster key frames and selectively compress token sequences, striking a balance between computational efficiency with semantic richness. Extensive experiments across multiple benchmarks demonstrate the effectiveness of DYTO, achieving superior performance compared to both fine-tuned and training-free methods and setting a new state-of-the-art for zero-shot video understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google