GHNeRF: Learning Generalizable Human Features with Efficient Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) の最近の進歩により、3D 人間表現を含む 3D シーン表現で有望な結果が得られることが実証されました。
ただし、これらの表現には、AR/VR アプリケーションやゲームにとって重要な、人間の基本的な姿勢や構造に関する重要な情報が欠けていることがよくあります。
この論文では、NeRF 表現を使用して人間の被験者の 2D/3D 関節位置を学習することでこれらの制限に対処するように設計された、GHNeRF と呼ばれる新しいアプローチを紹介します。
GHNeRF は、2D 画像から人間の重要な特徴を抽出するように合理化された事前トレーニング済み 2D エンコーダーを使用します。その後、人間の生体力学的特徴をエンコードするために、NeRF フレームワークに組み込まれます。
これにより、私たちのネットワークは、人間の幾何学形状や質感とともに、関節の位置などの生体力学的特徴を同時に学習できるようになります。
私たちの方法の有効性を評価するために、最先端の人間の NeRF 技術および共同推定アルゴリズムとの包括的な比較を実行します。
私たちの結果は、GHNeRF がほぼリアルタイムで最先端の結果を達成できることを示しています。

要約(オリジナル)

Recent advances in Neural Radiance Fields (NeRF) have demonstrated promising results in 3D scene representations, including 3D human representations. However, these representations often lack crucial information on the underlying human pose and structure, which is crucial for AR/VR applications and games. In this paper, we introduce a novel approach, termed GHNeRF, designed to address these limitations by learning 2D/3D joint locations of human subjects with NeRF representation. GHNeRF uses a pre-trained 2D encoder streamlined to extract essential human features from 2D images, which are then incorporated into the NeRF framework in order to encode human biomechanic features. This allows our network to simultaneously learn biomechanic features, such as joint locations, along with human geometry and texture. To assess the effectiveness of our method, we conduct a comprehensive comparison with state-of-the-art human NeRF techniques and joint estimation algorithms. Our results show that GHNeRF can achieve state-of-the-art results in near real-time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google