要約
このホワイト ペーパーでは、ビデオからハイライト モーメントを抽出するという課題について調査します。
このタスクを実行するには、システムは任意のビデオ ドメインのハイライトを構成するものを理解すると同時に、異なるドメイン間でスケーリングできる必要があります。
私たちの重要な洞察は、写真家が撮影した写真は、活動の最も注目すべきまたはフォトジェニックな瞬間を捉える傾向があるということです.
この洞察に基づいて、幅広いドメインのドメイン固有のハイライトビデオを作成できるシステムである Videogenic を紹介します。
人間による評価研究 (N=50) では、高品質の写真コレクションと CLIP ベースの検索 (画像のセマンティック知識を備えたニューラル ネットワークを使用) を組み合わせると、ビデオのハイライトを見つけるための優れた事前情報として役立つことがわかりました。
被験者内の専門家による調査 (N=12) では、Videogenic の有用性を実証して、ビデオ編集者がハイライト ビデオをより軽いワークロードで、より短いタスク完了時間で、より使いやすく作成できるように支援しています。
要約(オリジナル)
This paper investigates the challenge of extracting highlight moments from videos. To perform this task, a system needs to understand what constitutes a highlight for arbitrary video domains while at the same time being able to scale across different domains. Our key insight is that photographs taken by photographers tend to capture the most remarkable or photogenic moments of an activity. Drawing on this insight, we present Videogenic, a system capable of creating domain-specific highlight videos for a wide range of domains. In a human evaluation study (N=50), we show that a high-quality photograph collection combined with CLIP-based retrieval (which uses a neural network with semantic knowledge of images) can serve as an excellent prior for finding video highlights. In a within-subjects expert study (N=12), we demonstrate the usefulness of Videogenic in helping video editors create highlight videos with lighter workload, shorter task completion time, and better usability.
arxiv情報
| 著者 | David Chuan-En Lin,Fabian Caba Heilbron,Joon-Young Lee,Oliver Wang,Nikolas Martelaro |
| 発行日 | 2022-11-22 18:59:04+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google