Dispider: Enabling Video LLMs with Active Real-Time Interaction via Disentangled Perception, Decision, and Reaction

要約

ビデオ LLM とのアクティブなリアルタイム インタラクションは、人間とコンピューターのインタラクションに新しいパラダイムを導入します。モデルはユーザーの意図を理解するだけでなく、オンザフライでストリーミング ビデオを継続的に処理しながら応答します。
質問に答える前にビデオ全体を分析するオフライン ビデオ LLM とは異なり、アクティブなリアルタイム インタラクションには 3 つの機能が必要です。 1) 認識: リアルタイム ビデオ モニタリングとインタラクション キャプチャ。
2) 決定: 適切な状況で積極的なインタラクションを引き起こす、3) 反応: ユーザーとの継続的なインタラクション。
ただし、必要な機能の間には固有の矛盾が存在します。
意思決定と反応には、逆の知覚スケールと粒度が必要であり、自己回帰デコードにより、反応中のリアルタイムの知覚と意思決定がブロックされます。
調和のとれたシステム内で矛盾する機能を統合するために、知覚、決定、反応のもつれを解くシステムである Dispider を紹介します。
Dispider は、ビデオ ストリームを追跡し、インタラクションに最適な瞬間を特定する軽量のプロアクティブ ストリーミング ビデオ処理モジュールを備えています。
インタラクションがトリガーされると、非同期インタラクション モジュールが詳細な応答を提供し、その間、処理モジュールはビデオの監視を続けます。
当社の解きほぐされた非同期設計により、タイムリーで状況に応じて正確で、計算効率の高い応答が保証され、Dispider は長時間のビデオ ストリームに対するアクティブなリアルタイム インタラクションに最適です。
実験の結果、Dispider は従来のビデオ QA タスクで強力なパフォーマンスを維持するだけでなく、ストリーミング シナリオの応答において以前のオンライン モデルを大幅に上回っていることが示され、それによってアーキテクチャの有効性が検証されました。
コードとモデルは \url{https://github.com/Mark12Ding/Dispider} でリリースされています。

要約(オリジナル)

Active Real-time interaction with video LLMs introduces a new paradigm for human-computer interaction, where the model not only understands user intent but also responds while continuously processing streaming video on the fly. Unlike offline video LLMs, which analyze the entire video before answering questions, active real-time interaction requires three capabilities: 1) Perception: real-time video monitoring and interaction capturing. 2) Decision: raising proactive interaction in proper situations, 3) Reaction: continuous interaction with users. However, inherent conflicts exist among the desired capabilities. The Decision and Reaction require a contrary Perception scale and grain, and the autoregressive decoding blocks the real-time Perception and Decision during the Reaction. To unify the conflicted capabilities within a harmonious system, we present Dispider, a system that disentangles Perception, Decision, and Reaction. Dispider features a lightweight proactive streaming video processing module that tracks the video stream and identifies optimal moments for interaction. Once the interaction is triggered, an asynchronous interaction module provides detailed responses, while the processing module continues to monitor the video in the meantime. Our disentangled and asynchronous design ensures timely, contextually accurate, and computationally efficient responses, making Dispider ideal for active real-time interaction for long-duration video streams. Experiments show that Dispider not only maintains strong performance in conventional video QA tasks, but also significantly surpasses previous online models in streaming scenario responses, thereby validating the effectiveness of our architecture. The code and model are released at \url{https://github.com/Mark12Ding/Dispider}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google