IntrinsicNGP: Intrinsic Coordinate based Hash Encoding for Human NeRF

要約

最近、人間のパフォーマーの新しいビュー合成に神経放射場を利用する多くの研究が提案されています。
ただし、これらの方法のほとんどは何時間ものトレーニングを必要とするため、実際に使用することは困難です。
この困難な問題に対処するために、IntrinsicNGP を提案します。これは、ゼロからトレーニングし、人間のパフォーマーのビデオで数分で忠実度の高い結果を達成できます。
この目標を達成するために、インスタント NGP のハッシュ エンコーディング モジュールで、元の明示的なユークリッド座標ではなく、連続的で最適化可能な固有の座標を導入します。
この新しい固有の座標により、IntrinsicNGP は、プロキシ ジオメトリ シェイプの助けを借りて、動的オブジェクトのフレーム間情報を集約できます。
さらに、指定された大まかなジオメトリ形状でトレーニングされた結果は、固有の座標に基づいて最適化可能なオフセット フィールドでさらに絞り込むことができます。いくつかのデータセットに関する広範な実験結果は、IntrinsicNGP の有効性と効率を示しています。
また、再構築された被験者の形状を編集するアプローチの能力も示しています。

要約(オリジナル)

Recently, many works have been proposed to utilize the neural radiance field for novel view synthesis of human performers. However, most of these methods require hours of training, making them difficult for practical use. To address this challenging problem, we propose IntrinsicNGP, which can train from scratch and achieve high-fidelity results in few minutes with videos of a human performer. To achieve this target, we introduce a continuous and optimizable intrinsic coordinate rather than the original explicit Euclidean coordinate in the hash encoding module of instant-NGP. With this novel intrinsic coordinate, IntrinsicNGP can aggregate inter-frame information for dynamic objects with the help of proxy geometry shapes. Moreover, the results trained with the given rough geometry shapes can be further refined with an optimizable offset field based on the intrinsic coordinate.Extensive experimental results on several datasets demonstrate the effectiveness and efficiency of IntrinsicNGP. We also illustrate our approach’s ability to edit the shape of reconstructed subjects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google