Detours for Navigating Instructional Videos

要約

解説ビデオをナビゲートするための迂回ビデオ問題を紹介する。ソースビデオと、ハウツービデオの現在の実行経路をある方法で変更することを求める自然言語クエリが与えられた場合、ゴールは、要求された変更を満たす関連する”迂回ビデオ”を見つけることである。この課題を解決するために、我々はVidDetoursを提案する。VidDetoursは、ビデオとテキストの条件付きクエリを用いて、ハウツー動画の大規模なリポジトリからターゲットとなる時間セグメントを検索することを学習する、新しいビデオ言語アプローチである。さらに、言語ベースのパイプラインを考案し、ハウツービデオのナレーションテキストを利用して、弱い教師付き学習データを作成する。我々は、ハウツー料理のビデオに我々のアイデアを適用し、ユーザーが現在のレシピから遠回りして、別の材料、道具、テクニックを使った手順を見つけることができることを実証する。16Kサンプルのグランドトゥルース注釈付きデータセットで検証することで、我々のモデルが、動画検索と質問応答において利用可能な最良の手法よりも大幅に改善されることを示す。

要約(オリジナル)

We introduce the video detours problem for navigating instructional videos. Given a source video and a natural language query asking to alter the how-to video’s current path of execution in a certain way, the goal is to find a related ”detour video” that satisfies the requested alteration. To address this challenge, we propose VidDetours, a novel video-language approach that learns to retrieve the targeted temporal segments from a large repository of how-to’s using video-and-text conditioned queries. Furthermore, we devise a language-based pipeline that exploits how-to video narration text to create weakly supervised training data. We demonstrate our idea applied to the domain of how-to cooking videos, where a user can detour from their current recipe to find steps with alternate ingredients, tools, and techniques. Validating on a ground truth annotated dataset of 16K samples, we show our model’s significant improvements over best available methods for video retrieval and question answering, with recall rates exceeding the state of the art by 35%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL