Omni-AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented for Efficient Long Video Understanding

要約

マルチモーダル大手言語モデル（MLLM）は、固定されたコンテキストウィンドウと弱い長期依存性モデリングにより、長いビデオに苦労しています。
ビデオの既存の検索能力（RAG）メソッドは、静的検索戦略を使用し、単純なクエリの効率性と複雑なタスクの情報損失をもたらします。
これに対処するために、軽量の意図分類器を使用してクエリの複雑さに基づいて検索の粒度を動的に適応させる新しいフレームワークであるAdavideoragを提案します。
当社のフレームワークでは、OMNI-Knowledgeインデックスモジュールを採用して、テキスト（キャプション、ASR、OCR）、視覚的機能、およびセマンティックグラフから階層データベースを構築し、タスク全体で最適なリソース割り当てを可能にします。
また、包括的な評価のためにHIVUベンチマークを紹介します。
実験は、既存のMLLMへのシームレスな統合により、長いビデオ理解の効率と精度の向上を示しています。
Adavideoragは、ビデオ分析における適応的検索のための新しいパラダイムを確立します。
コードはhttps://github.com/xzc-zju/adavideoragでオープンソーシングされます。

要約(オリジナル)

Multimodal Large Language Models (MLLMs) struggle with long videos due to fixed context windows and weak long-term dependency modeling. Existing Retrieval-Augmented Generation (RAG) methods for videos use static retrieval strategies, leading to inefficiencies for simple queries and information loss for complex tasks. To address this, we propose AdaVideoRAG, a novel framework that dynamically adapts retrieval granularity based on query complexity using a lightweight intent classifier. Our framework employs an Omni-Knowledge Indexing module to build hierarchical databases from text (captions, ASR, OCR), visual features, and semantic graphs, enabling optimal resource allocation across tasks. We also introduce the HiVU benchmark for comprehensive evaluation. Experiments demonstrate improved efficiency and accuracy for long-video understanding, with seamless integration into existing MLLMs. AdaVideoRAG establishes a new paradigm for adaptive retrieval in video analysis. Codes will be open-sourced at https://github.com/xzc-zju/AdaVideoRAG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google