HumanRF: High-Fidelity Neural Radiance Fields for Humans in Motion

要約

タイトル：動く人間のための高品質ニューラル放射フィールドであるHumanRF

要約：

– 人間のパフォーマンスを高品質で表現することは、映画製作、コンピュータゲーム、ビデオ会議などのさまざまなアプリケーションにおいて必要不可欠なものである。
– HumanRFは、マルチビュー動画入力から全身の外観をキャプチャし、新しい視点からの再生を可能にする4Dダイナミックニューラルシーン表現である。
– HumanRFは、時空間を一時的な行列ベクトル分解に分解することにより、高圧縮率で細かい詳細をキャプチャする動的ビデオエンコーディングとして機能する。これにより、長いシーケンスの人間のアクターの時間的に連続した再構成を得ることができ、動きの中でも高解像度の詳細を表現することができる。
– ほとんどの研究が4MP以下の解像度で合成を行っている中、12MPでの処理に取り組むことにより、高品質な新しいビュー合成に向けて大きな進歩を遂げている。
– ActorsHQは、16のシーケンスについて、高品質な、フレーム毎のメッシュ再構成を提供する160台のカメラで12MPの映像を提供する新しいマルチビューデータセットである。
– 新しいデータセットを活用し、HumanRFがこれを効果的に利用できることを示すことで、高品質な新しいビュー合成に向けて重要な進展を遂げていることを実証している。

要約(オリジナル)

Representing human performance at high-fidelity is an essential building block in diverse applications, such as film production, computer games or videoconferencing. To close the gap to production-level quality, we introduce HumanRF, a 4D dynamic neural scene representation that captures full-body appearance in motion from multi-view video input, and enables playback from novel, unseen viewpoints. Our novel representation acts as a dynamic video encoding that captures fine details at high compression rates by factorizing space-time into a temporal matrix-vector decomposition. This allows us to obtain temporally coherent reconstructions of human actors for long sequences, while representing high-resolution details even in the context of challenging motion. While most research focuses on synthesizing at resolutions of 4MP or lower, we address the challenge of operating at 12MP. To this end, we introduce ActorsHQ, a novel multi-view dataset that provides 12MP footage from 160 cameras for 16 sequences with high-fidelity, per-frame mesh reconstructions. We demonstrate challenges that emerge from using such high-resolution data and show that our newly introduced HumanRF effectively leverages this data, making a significant step towards production-level quality novel view synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI