VQA$^2$: Visual Question Answering for Video Quality Assessment

要約

大規模マルチモーダル モデル (LMM) の出現と普及により、コンピューター ビジョンに新しいパラダイムが導入され、さまざまなタスクが統一された視覚的な質問応答フレームワークに変換されました。
ビデオ品質評価 (VQA) は、低レベルの視覚認識における古典的な分野であり、当初は定量的なビデオ品質スコアリングに焦点を当てていました。
ただし、LMM の進歩により、現在では、より包括的なビジュアル品質理解タスクに向けて進歩しています。
画像分野における最近の研究では、ビジュアル質問応答 (VQA) が低レベルのビジュアル品質評価を著しく向上できることが実証されています。
それにもかかわらず、ビデオ分野では関連する研究が検討されておらず、大幅な改善の余地が残されています。
このギャップに対処するために、ビデオ品質評価に焦点を当てた初の視覚的な質問応答命令データセットである VQA2 命令データセットを導入します。
このデータセットは 3 つのサブセットで構成され、さまざまな種類のビデオをカバーしており、157,755 の指示の質問と回答のペアが含まれています。
そして、この基盤を活かしたVQA2シリーズをご紹介します。
VQA2 シリーズ モデルは、ビジュアル トークンとモーション トークンをインターリーブして、ビデオの時空間品質の詳細の認識を強化します。
私たちは、ビデオ品質のスコアリングとタスクの理解について広範な実験を実施し、その結果、VQA2 シリーズ モデルが両方のタスクで優れたパフォーマンスを達成することが実証されました。
特に、当社の最終モデルである VQA2-Assistant は、品質スコアリング タスクにおいて強力な競争力を維持しながら、視覚的な品質理解タスクにおいて有名な GPT-4o を上回っています。
私たちの取り組みは、低レベルのビデオ品質の評価と理解を LMM と統合するための基盤と実現可能なアプローチを提供します。

要約(オリジナル)

The advent and proliferation of large multi-modal models (LMMs) have introduced new paradigms to computer vision, transforming various tasks into a unified visual question answering framework. Video Quality Assessment (VQA), a classic field in low-level visual perception, focused initially on quantitative video quality scoring. However, driven by advances in LMMs, it is now progressing toward more holistic visual quality understanding tasks. Recent studies in the image domain have demonstrated that Visual Question Answering (VQA) can markedly enhance low-level visual quality evaluation. Nevertheless, related work has not been explored in the video domain, leaving substantial room for improvement. To address this gap, we introduce the VQA2 Instruction Dataset – the first visual question answering instruction dataset that focuses on video quality assessment. This dataset consists of 3 subsets and covers various video types, containing 157,755 instruction question-answer pairs. Then, leveraging this foundation, we present the VQA2 series models. The VQA2 series models interleave visual and motion tokens to enhance the perception of spatial-temporal quality details in videos. We conduct extensive experiments on video quality scoring and understanding tasks, and results demonstrate that the VQA2series models achieve excellent performance in both tasks. Notably, our final model, the VQA2-Assistant, exceeds the renowned GPT-4o in visual quality understanding tasks while maintaining strong competitiveness in quality scoring tasks. Our work provides a foundation and feasible approach for integrating low-level video quality assessment and understanding with LMMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google