Eliciting In-Context Learning in Vision-Language Models for Videos Through Curated Data Distributional Properties

要約

大規模言語モデル (LLM) の最近の成功の背後にある主な理由は、その \textit{コンテキスト内学習} 機能にあります。この機能により、少数の関連するデモンストレーションを促すことで、下流のテキストベースのタスクに LLM を迅速に適応させることができます。
。
最近、テキストと画像の両方を必要とするタスク向けに大規模なビジョン言語モデル (VLM) が開発されていますが、特にビデオに関するテキストの理解と生成において、視覚情報に対するコンテキスト内の学習がほとんど欠けています。
この研究では、コンテキスト内学習を誘導する新しいトレーニング パラダイムである \textbf{V}ideos (\eilev{}) に \textbf{E}mergent \textbf{I}n-context \textbf{Le}arning を実装します。
トランスフォーマーでのコンテキスト内学習に不可欠であることが以前の研究で判明した事前トレーニング データの主要なプロパティをキャプチャすることで、ビデオとテキストを上書きします。
私たちの実験では、\eilev でトレーニングされたモデルが、斬新でまれなアクションの数ショットのビデオ ナレーションにおいて、他の既製 VLM よりも優れたパフォーマンスを発揮することを示しました。
さらに、バースト性分布、歪んだ周辺分布、動的意味のこれらの重要な特性が、手順ビデオのナレーションにおける VLM のコンテキスト内学習能力にさまざまな程度で寄与することを示します。
私たちの結果、分析、および \eilev{} でトレーニングされたモデルは、ビデオとテキストを介したコンテキスト内学習の出現に関する多くの洞察をもたらし、オープンドメインのビデオの理解と推論のために VLM を最適化および拡張する将来の作業の基盤を作成します。
私たちのコードとデモは \url{https://github.com/yukw777/EILEV} で入手できます。

要約(オリジナル)

A major reason behind the recent success of large language models (LLMs) is their \textit{in-context learning} capability, which makes it possible to rapidly adapt them to downstream text-based tasks by prompting them with a small number of relevant demonstrations. While large vision-language models (VLMs) have recently been developed for tasks requiring both text and images, they largely lack in-context learning over visual information, especially in understanding and generating text about videos. In this work, we implement \textbf{E}mergent \textbf{I}n-context \textbf{Le}arning on \textbf{V}ideos (\eilev{}), a novel training paradigm that induces in-context learning over video and text by capturing key properties of pre-training data found by prior work to be essential for in-context learning in transformers. In our experiments, we show that \eilev-trained models outperform other off-the-shelf VLMs in few-shot video narration for novel, rare actions. Furthermore, we demonstrate that these key properties of bursty distributions, skewed marginal distributions, and dynamic meaning each contribute to varying degrees to VLMs’ in-context learning capability in narrating procedural videos. Our results, analysis, and \eilev{}-trained models yield numerous insights about the emergence of in-context learning over video and text, creating a foundation for future work to optimize and scale VLMs for open-domain video understanding and reasoning. Our code and demo are available at \url{https://github.com/yukw777/EILEV}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google