要約
スローモーションのリプレイは、スポーツの試合の重要な瞬間にスリリングな視点を提供し、新鮮で魅惑的な映像体験を提供します。しかし、スローモーション映像を撮影するには、一般的にハイテクで高価なカメラとインフラが必要です。ディープラーニングのビデオフレーム補間（VFI）技術は、通常のカメラフィードから高速映像を生成できる有望な手段として浮上してきた。さらに、イベントベースカメラの活用は、フレーム間の貴重な動き情報を提供し、VFIの性能をさらに向上させるため、最近注目を集めている。本研究では、スポーツのスローモーション映像を生成するための、イベントベースのVFIモデルに関する最初の調査を行う。特に、スポーツ映像をキャプチャするために、RGBカメラとイベントベースカメラを含むバイカメラ録画セットアップを設計し、実装することで、両方のカメラを時間的に整列させ、空間的に登録する。実験的検証により、市販のイベントベースVFIモデルであるTimeLensが、スポーツ映像のスローモーション映像を効果的に生成できることが実証された。この最初の調査により、スポーツのスローモーション・コンテンツの制作におけるイベントベース・カメラの実用的な有用性が強調され、この分野での今後の研究努力の基礎が築かれました。
要約(オリジナル)
Slow-motion replays provide a thrilling perspective on pivotal moments within sports games, offering a fresh and captivating visual experience. However, capturing slow-motion footage typically demands high-tech, expensive cameras and infrastructures. Deep learning Video Frame Interpolation (VFI) techniques have emerged as a promising avenue, capable of generating high-speed footage from regular camera feeds. Moreover, the utilization of event-based cameras has recently gathered attention as they provide valuable motion information between frames, further enhancing the VFI performances. In this work, we present a first investigation of event-based VFI models for generating sports slow-motion videos. Particularly, we design and implement a bi-camera recording setup, including an RGB and an event-based camera to capture sports videos, to temporally align and spatially register both cameras. Our experimental validation demonstrates that TimeLens, an off-the-shelf event-based VFI model, can effectively generate slow-motion footage for sports videos. This first investigation underscores the practical utility of event-based cameras in producing sports slow-motion content and lays the groundwork for future research endeavors in this domain.
arxiv情報
| 著者 | Antoine Deckyvere,Anthony Cioppa,Silvio Giancola,Bernard Ghanem,Marc Van Droogenbroeck |
| 発行日 | 2024-07-03 08:32:51+00:00 |
| arxivサイト | arxiv_id(pdf) |