ViVo: A Dataset for Volumetric Video Reconstruction and Compression

要約

神経体積ビデオの再構築と圧縮の繁栄に関する研究として、再構築モデルと圧縮モデルの開発と検証に使用できる多様で現実的なデータセットが必要です。
ただし、既存のボリュームビデオデータセットには、実際の生産パイプラインに一般的に存在するセマンティックおよび低レベルの両方の機能の両方の点で、多様なコンテンツがありません。
これに関連して、ボリュームビデオの再構築と圧縮のために、新しいデータセットvivoを提案します。
データセットは、現実世界のボリュームビデオ制作に忠実であり、多様性の定義を拡張して、人間中心の特性（皮膚、髪など）と動的視覚現象（透明、反射、液体など）の両方を含む最初のデータセットです。
このデータベースの各ビデオシーケンスには、14のマルチビューRGBおよび深度ビデオペアを含む生データが含まれています。これは、1つのフレームキャリブレーションとオーディオデータ、および関連する2D前景マスクと3Dポイントクラウドを備えた30fpsで同期しています。
このデータベースの使用を実証するために、3つの最先端の（SOTA）3D再構成方法と2つの体積ビデオ圧縮アルゴリズムをベンチマークしました。
得られた結果は、提案されたデータセットの挑戦的な性質と、体積ビデオ再構成と圧縮タスクの両方の既存のデータセットの制限を証明し、これらのアプリケーションのより効果的なアルゴリズムを開発する必要性を強調しています。
データベースと関連する結果は、https：//vivo-bvicr.github.io/で入手できます。

要約(オリジナル)

As research on neural volumetric video reconstruction and compression flourishes, there is a need for diverse and realistic datasets, which can be used to develop and validate reconstruction and compression models. However, existing volumetric video datasets lack diverse content in terms of both semantic and low-level features that are commonly present in real-world production pipelines. In this context, we propose a new dataset, ViVo, for VolumetrIc VideO reconstruction and compression. The dataset is faithful to real-world volumetric video production and is the first dataset to extend the definition of diversity to include both human-centric characteristics (skin, hair, etc.) and dynamic visual phenomena (transparent, reflective, liquid, etc.). Each video sequence in this database contains raw data including fourteen multi-view RGB and depth video pairs, synchronized at 30FPS with per-frame calibration and audio data, and their associated 2-D foreground masks and 3-D point clouds. To demonstrate the use of this database, we have benchmarked three state-of-the-art (SotA) 3-D reconstruction methods and two volumetric video compression algorithms. The obtained results evidence the challenging nature of the proposed dataset and the limitations of existing datasets for both volumetric video reconstruction and compression tasks, highlighting the need to develop more effective algorithms for these applications. The database and the associated results are available at https://vivo-bvicr.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google