Videogenic: Identifying Highlight Moments in Videos with Professional Photographs as a Prior

要約

この論文では、ビデオからハイライトの瞬間を抽出するという課題について調査します。
このタスクを実行するには、任意のビデオ ドメインのハイライトを構成するものを理解し、同時に異なるドメイン間で拡張できる必要があります。
私たちの重要な洞察は、写真家が撮影した写真は、アクティビティの最も注目に値する、または写真映えする瞬間を捉える傾向があるということです。
この洞察に基づいて、さまざまなドメイン向けにドメイン固有のハイライト ビデオを作成できる技術である Videogenic を紹介します。
人間による評価研究 (N=50) では、高品質の写真コレクションと CLIP ベースの検索 (画像の意味論的な知識を備えたニューラル ネットワークを使用) を組み合わせたものが、ビデオのハイライトを見つけるための優れた事前情報として機能できることを示しました。
被験者内での専門家研究 (N=12) では、ビデオ編集者が作業負荷を軽減し、タスク完了時間を短縮し、使いやすさを向上させてハイライト ビデオを作成するのに役立つ Videogenic の有用性を実証しました。

要約(オリジナル)

This paper investigates the challenge of extracting highlight moments from videos. To perform this task, we need to understand what constitutes a highlight for arbitrary video domains while at the same time being able to scale across different domains. Our key insight is that photographs taken by photographers tend to capture the most remarkable or photogenic moments of an activity. Drawing on this insight, we present Videogenic, a technique capable of creating domain-specific highlight videos for a diverse range of domains. In a human evaluation study (N=50), we show that a high-quality photograph collection combined with CLIP-based retrieval (which uses a neural network with semantic knowledge of images) can serve as an excellent prior for finding video highlights. In a within-subjects expert study (N=12), we demonstrate the usefulness of Videogenic in helping video editors create highlight videos with lighter workload, shorter task completion time, and better usability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google