Simple Baselines for Interactive Video Retrieval with Questions and Answers

要約

これまで、ビデオ検索システムの大部分は、ユーザーがシステムとの以前の対話を無視して、単独でクエリを送信する「シングルショット」シナリオ向けに最適化されてきました。
最近、検索を強化する対話型システムに新たな関心が集まっていますが、既存のアプローチは複雑であり、パフォーマンスの向上も限られています。
この研究では、このトピックを再検討し、質問応答によるインタラクティブなビデオ検索のためのシンプルかつ効果的なベースラインをいくつか提案します。
VideoQA モデルを使用してユーザー インタラクションをシミュレートし、これにより、グラウンド トゥルース対話データにアクセスせずにインタラクティブな検索タスクの生産的な研究が可能になることを示します。
MSR-VTT、MSVD、および AVSD の実験では、質問ベースの対話を使用するフレームワークがテキストベースのビデオ検索システムのパフォーマンスを大幅に向上させることが示されています。

要約(オリジナル)

To date, the majority of video retrieval systems have been optimized for a ‘single-shot’ scenario in which the user submits a query in isolation, ignoring previous interactions with the system. Recently, there has been renewed interest in interactive systems to enhance retrieval, but existing approaches are complex and deliver limited gains in performance. In this work, we revisit this topic and propose several simple yet effective baselines for interactive video retrieval via question-answering. We employ a VideoQA model to simulate user interactions and show that this enables the productive study of the interactive retrieval task without access to ground truth dialogue data. Experiments on MSR-VTT, MSVD, and AVSD show that our framework using question-based interaction significantly improves the performance of text-based video retrieval systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google