InstantAvatar: Learning Avatars from Monocular Video in 60 Seconds

要約

この論文では、数秒以内に単眼ビデオから人間のアバターを再構築できるシステムである InstantAvatar に貢献することで、単眼神経アバター再構築の実世界への適用性に向けて重要な一歩を踏み出しました。
この効率を達成するために、動的シーンの効率的な空のスペーススキップ戦略と組み合わせて、ニューラルフィールドの新しい加速構造を活用する、慎重に設計および設計されたシステムを提案します。
また、研究目的で利用できるようにする効率的な実装にも貢献します。
既存の方法と比較して、InstantAvatar は 130 倍速く収束し、数時間ではなく数分でトレーニングできます。
同等またはそれ以上の再構成品質と新しいポーズ合成結果を実現します。
同じ時間予算が与えられた場合、私たちの方法は SoTA 方法よりも大幅に優れています。
InstantAvatar は、わずか 10 秒のトレーニング時間で許容できるビジュアル品質を実現できます。

要約(オリジナル)

In this paper, we take a significant step towards real-world applicability of monocular neural avatar reconstruction by contributing InstantAvatar, a system that can reconstruct human avatars from a monocular video within seconds, and these avatars can be animated and rendered at an interactive rate. To achieve this efficiency we propose a carefully designed and engineered system, that leverages emerging acceleration structures for neural fields, in combination with an efficient empty space-skipping strategy for dynamic scenes. We also contribute an efficient implementation that we will make available for research purposes. Compared to existing methods, InstantAvatar converges 130x faster and can be trained in minutes instead of hours. It achieves comparable or even better reconstruction quality and novel pose synthesis results. When given the same time budget, our method significantly outperforms SoTA methods. InstantAvatar can yield acceptable visual quality in as little as 10 seconds training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google