Grounded Question-Answering in Long Egocentric Videos

要約

ビデオを理解するための既存のアプローチは、主に三人称視点の短いビデオ向けに設計されており、ロボット工学などの特定の分野への適用は限られています。
この論文では、個人またはロボットが自分の過去の視覚体験について質問できるようにする、長い自己中心的なビデオにおける自由形式の質問応答 (QA) について詳しく掘り下げます。
このタスクには、広範なビデオ コンテンツ内で時間的に根拠のあるクエリの複雑さ、正確なデータ注釈に対する高いリソース要求、曖昧な性質による自由回答の評価の固有の難しさなど、独特の課題があります。
私たちが提案するアプローチは、(i) クエリのグラウンディングと応答を統一モデル内に統合して、エラーの伝播を低減することにより、これらの課題に取り組みます。
(ii) 効率的かつスケーラブルなデータ合成のために大規模な言語モデルを採用する。
(iii) 回答の曖昧さを管理するために、クローズエンドの QA タスクを評価に導入します。
広範な実験により、私たちの手法の有効性が実証されており、QAEgo4D および Ego4D-NLQ ベンチマークでも最先端のパフォーマンスを達成しています。
今後の研究のためにコード、モデル、構築されたデータセットを公開する予定です。

要約(オリジナル)

Existing approaches to video understanding, mainly designed for short videos from a third-person perspective, are limited in their applicability in certain fields, such as robotics. In this paper, we delve into open-ended question-answering (QA) in long, egocentric videos, which allows individuals or robots to inquire about their own past visual experiences. This task presents unique challenges, including the complexity of temporally grounding queries within extensive video content, the high resource demands for precise data annotation, and the inherent difficulty of evaluating open-ended answers due to their ambiguous nature. Our proposed approach tackles these challenges by (i) integrating query grounding and answering within a unified model to reduce error propagation; (ii) employing large language models for efficient and scalable data synthesis; and (iii) introducing a close-ended QA task for evaluation, to manage answer ambiguity. Extensive experiments demonstrate the effectiveness of our method, which also achieves state-of-the-art performance on the QAEgo4D and Ego4D-NLQ benchmarks. We plan to publicly release the codes, model, and constructed datasets for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google