FreeVA: Offline MLLM as Training-Free Video Assistant

要約

このペーパーでは、マルチモーダル大規模言語モデル (MLLM) の最新の進歩であるビデオ アシスタントを再検討するための実証的研究を行います。
この研究、すなわち FreeVA は、既存の画像ベースの MLLM をトレーニング不要の方法でビデオ ドメインに拡張することを目的としています。
この研究は、重要かつ知っておくべきベースラインを提供し、いくつかの驚くべき発見を明らかにしました。 1) FreeVA は、追加のトレーニングなしでオフラインの画像ベースの MLLM のみを活用し、ゼロショットのビデオ質問応答 (例: MSVD-QA、ActivityNet) に優れています。
-QA、MSRVTT-QA)、ビデオ命令チューニングを含む最先端の方法をも上回っています。
2) 主流のビデオベースの MLLM は、通常、画像ベースの MLLM (LLaVA など) で初期化し、ビデオ命令チューニングを使用して微調整しますが、この調査では、ビデオ命令チューニングに広く採用されている VideoInstruct-100K を利用しても、実際にはそうではないことが示されています。
まったくトレーニングしない場合と比べて、パフォーマンスの向上につながります。
3) 既存の作品で一般的に使用される評価指標は、時間の経過による GPT API バージョンの変更によって大きく影響されます。
これを無視すると、異なる方法間の比較の公平性と均一性に影響を及ぼし、その分野の研究者の分析と判断に影響を与える可能性があります。
MLLM の進歩は現在盛んであり、多くの研究者がこの分野に引き込まれています。
私たちは、この作業がプラグアンドプレイのシンプルかつ効果的なベースラインとして機能し、ビデオ領域における既存の MLLM の直接評価を促進するとともに、ビデオ会話モデルの分野をある程度標準化することを目指しています。
また、研究者には次のことを再考することをお勧めします。現在のビデオ MLLM メソッドは本当に画像 MLLM を超えた知識を獲得したのでしょうか?
コードは https://github.com/whwu95/FreeVA で入手できます。

要約(オリジナル)

This paper undertakes an empirical study to revisit the latest advancements in Multimodal Large Language Models (MLLMs): Video Assistant. This study, namely FreeVA, aims to extend existing image-based MLLM to the video domain in a training-free manner. The study provides an essential, yet must-know baseline, and reveals several surprising findings: 1) FreeVA, leveraging only offline image-based MLLM without additional training, excels in zero-shot video question-answering (e.g., MSVD-QA, ActivityNet-QA, and MSRVTT-QA), even surpassing state-of-the-art methods that involve video instruction tuning. 2) While mainstream video-based MLLMs typically initialize with an image-based MLLM (e.g., LLaVA) and then fine-tune using video instruction tuning, the study indicates that utilizing the widely adopted VideoInstruct-100K for video instruction tuning doesn’t actually lead to better performance compared to not training at all. 3) The commonly used evaluation metrics in existing works are significantly influenced by changes in the GPT API version over time. If ignored, this could affect the fairness and uniformity of comparisons between different methods and impact the analysis and judgment of researchers in the field. The advancement of MLLMs is currently thriving, drawing numerous researchers into the field. We aim for this work to serve as a plug-and-play, simple yet effective baseline, encouraging the direct evaluation of existing MLLMs in video domain while also standardizing the field of video conversational models to a certain extent. Also, we encourage researchers to reconsider: Have current video MLLM methods truly acquired knowledge beyond image MLLM? Code is available at https://github.com/whwu95/FreeVA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google