要約
ユーザーエンゲージメントは、視覚刺激と聴覚刺激を組み合わせた完全に没入型のマルチモーダルエクスペリエンスによって大幅に強化されます。
その結果、VR/ARテクノロジーの次のフロンティアは、完全なシーンキャプチャ、大きな6-DOF相互作用スペース、マルチモーダルフィードバック、高解像度とフレームレートの内容を備えた没入型のボリュームビデオにあります。
没入型体積ビデオの再構築を刺激するために、完全なスペース指向のデータキャプチャとさまざまな屋内/屋外シナリオを備えたマルチビュー、マルチモーダルデータセットであるIMVIDを紹介します。
Capture Rigは、移動中にマルチビュービデオアディオキャプチャをサポートします。これは、既存のデータセットには存在せず、データキャプチャの完全性、柔軟性、効率を大幅に向上させます。
キャプチャされたマルチビュービデオ（同期オーディオを使用）は、60fpsで5K解像度で、1〜5分間続き、リッチフォアグラウンドバックグラウンドの要素と複雑なダイナミクスが含まれます。
データセットを使用して既存のメソッドをベンチマークし、6-DOFマルチモーダル没入型VRエクスペリエンス用のマルチビューオーディオビジュアル入力から没入型ボリュームビデオを構築するためのベースパイプラインを確立します。
ベンチマークと再構築と相互作用の結果は、データセットとベースライン法の有効性を示しています。これは、没入型の体積ビデオ生産に関する将来の研究を刺激すると考えています。
要約(オリジナル)
User engagement is greatly enhanced by fully immersive multi-modal experiences that combine visual and auditory stimuli. Consequently, the next frontier in VR/AR technologies lies in immersive volumetric videos with complete scene capture, large 6-DoF interaction space, multi-modal feedback, and high resolution & frame-rate contents. To stimulate the reconstruction of immersive volumetric videos, we introduce ImViD, a multi-view, multi-modal dataset featuring complete space-oriented data capture and various indoor/outdoor scenarios. Our capture rig supports multi-view video-audio capture while on the move, a capability absent in existing datasets, significantly enhancing the completeness, flexibility, and efficiency of data capture. The captured multi-view videos (with synchronized audios) are in 5K resolution at 60FPS, lasting from 1-5 minutes, and include rich foreground-background elements, and complex dynamics. We benchmark existing methods using our dataset and establish a base pipeline for constructing immersive volumetric videos from multi-view audiovisual inputs for 6-DoF multi-modal immersive VR experiences. The benchmark and the reconstruction and interaction results demonstrate the effectiveness of our dataset and baseline method, which we believe will stimulate future research on immersive volumetric video production.
arxiv情報
| 著者 | Zhengxian Yang,Shi Pan,Shengqi Wang,Haoxiang Wang,Li Lin,Guanjun Li,Zhengqi Wen,Borong Lin,Jianhua Tao,Tao Yu |
| 発行日 | 2025-03-18 15:42:22+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google