Top-down Activity Representation Learning for Video Question Answering

要約

高性能のビデオ質問応答 (VideoQA) を実現するには、原子的なアクション (例: プレゼントを 1 つ手に取る、ソファに移動する、プレゼントの包装を開ける) からコンテキスト イベント (例: クリスマスを祝う) まで、複雑な階層的な人間の活動をキャプチャすることが重要です。
最近の研究では、マルチモーダル モデル (CLIP、LLaVA など) を拡張して連続ビデオ シーケンスを処理し、モデルの時間推論機能を強化しました。
ただし、これらのアプローチでは、比較的長期のシーケンスにわたって非連続的に分散される複数のアトミック アクションに分解できるコンテキスト イベントをキャプチャできないことがよくあります。
この論文では、CLIP モデルの空間視覚コンテキスト表現機能を活用して、ビデオ内のコンテキスト イベントに関する非連続視覚表現を取得するために、長期ビデオ シーケンスを空間画像ドメインに変換し、マルチモーダル モデル LLaVA を微調整します。
VideoQA タスク。
私たちのアプローチは、特に STAR タスクで競争力のあるパフォーマンスを達成し、78.4% の精度スコアを達成し、NExTQA タスクでの現在の最先端スコアを 2.8 ポイント上回っています。

要約(オリジナル)

Capturing complex hierarchical human activities, from atomic actions (e.g., picking up one present, moving to the sofa, unwrapping the present) to contextual events (e.g., celebrating Christmas) is crucial for achieving high-performance video question answering (VideoQA). Recent works have expanded multimodal models (e.g., CLIP, LLaVA) to process continuous video sequences, enhancing the model’s temporal reasoning capabilities. However, these approaches often fail to capture contextual events that can be decomposed into multiple atomic actions non-continuously distributed over relatively long-term sequences. In this paper, to leverage the spatial visual context representation capability of the CLIP model for obtaining non-continuous visual representations in terms of contextual events in videos, we convert long-term video sequences into a spatial image domain and finetune the multimodal model LLaVA for the VideoQA task. Our approach achieves competitive performance on the STAR task, in particular, with a 78.4% accuracy score, exceeding the current state-of-the-art score by 2.8 points on the NExTQA task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google