Investigating Event-Based Cameras for Video Frame Interpolation in Sports

要約

スローモーション リプレイは、スポーツ ゲームの重要な瞬間をスリリングな視点で捉え、新鮮で魅力的な視覚体験を提供します。
ただし、スローモーション映像を撮影するには、通常、ハイテクで高価なカメラとインフラストラクチャが必要です。
深層学習ビデオ フレーム補間 (VFI) 技術は、通常のカメラ フィードから高速映像を生成できる有望な手段として浮上しています。
さらに、イベントベースのカメラの利用は、フレーム間の貴重な動き情報を提供し、VFI パフォーマンスをさらに強化するため、最近注目を集めています。
この研究では、スポーツのスローモーション ビデオを生成するためのイベントベースの VFI モデルの最初の調査を紹介します。
特に、スポーツビデオをキャプチャするための RGB カメラとイベントベースのカメラを含むバイカメラ録画セットアップを設計および実装し、両方のカメラを時間的に位置合わせし、空間的に登録します。
私たちの実験による検証では、既製のイベントベースの VFI モデルである TimeLens がスポーツ ビデオ用のスローモーション映像を効果的に生成できることが実証されました。
この最初の調査は、スポーツのスローモーション コンテンツの制作におけるイベントベースのカメラの実際的な有用性を強調し、この分野における将来の研究努力の基礎を築きます。

要約(オリジナル)

Slow-motion replays provide a thrilling perspective on pivotal moments within sports games, offering a fresh and captivating visual experience. However, capturing slow-motion footage typically demands high-tech, expensive cameras and infrastructures. Deep learning Video Frame Interpolation (VFI) techniques have emerged as a promising avenue, capable of generating high-speed footage from regular camera feeds. Moreover, the utilization of event-based cameras has recently gathered attention as they provide valuable motion information between frames, further enhancing the VFI performances. In this work, we present a first investigation of event-based VFI models for generating sports slow-motion videos. Particularly, we design and implement a bi-camera recording setup, including an RGB and an event-based camera to capture sports videos, to temporally align and spatially register both cameras. Our experimental validation demonstrates that TimeLens, an off-the-shelf event-based VFI model, can effectively generate slow-motion footage for sports videos. This first investigation underscores the practical utility of event-based cameras in producing sports slow-motion content and lays the groundwork for future research endeavors in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google