Generalizable Neural Voxels for Fast Human Radiance Fields

要約

単眼映像のみから自由視点で動く人体をレンダリングするのはかなり難しい問題です。
ビューとポーズの両方の次元から複雑な人体構造と動きをモデル化するには、情報がまばらすぎます。
ニューラル ラディアンス フィールド (NeRF) は、新しいビューの合成に大きな力を発揮し、人体のレンダリングに適用されています。
ただし、現在の NeRF ベースの方法のほとんどは、トレーニングとレンダリングの両方に莫大なコストがかかるため、実際のシナリオでの幅広いアプリケーションの妨げになっています。
この論文では、単眼ビデオから動いている人体構造を非常に迅速に学習できるレンダリング フレームワークを提案します。
フレームワークは、ニューラル フィールドとニューラル ボクセルの両方を統合することによって構築されます。
特に、一般化可能な神経ボクセルのセットが構築されます。
さまざまな人体で事前トレーニングされたこれらの一般的なボクセルは、基本的な骨格を表し、強力な幾何学的事前分布を提供できます。
微調整プロセスでは、個々のボクセルは、一般的なボクセルを補完する微分テクスチャを学習するために構築されます。
したがって、新しい身体の学習は、ほんの数分でさらに加速できます。
私たちの方法は、同様のレンダリング品質を維持しながら、以前の方法と比較して大幅に高いトレーニング効率を示しています。
プロジェクトページは https://taoranyi.com/gneuvox です。

要約(オリジナル)

Rendering moving human bodies at free viewpoints only from a monocular video is quite a challenging problem. The information is too sparse to model complicated human body structures and motions from both view and pose dimensions. Neural radiance fields (NeRF) have shown great power in novel view synthesis and have been applied to human body rendering. However, most current NeRF-based methods bear huge costs for both training and rendering, which impedes the wide applications in real-life scenarios. In this paper, we propose a rendering framework that can learn moving human body structures extremely quickly from a monocular video. The framework is built by integrating both neural fields and neural voxels. Especially, a set of generalizable neural voxels are constructed. With pretrained on various human bodies, these general voxels represent a basic skeleton and can provide strong geometric priors. For the fine-tuning process, individual voxels are constructed for learning differential textures, complementary to general voxels. Thus learning a novel body can be further accelerated, taking only a few minutes. Our method shows significantly higher training efficiency compared with previous methods, while maintaining similar rendering quality. The project page is at https://taoranyi.com/gneuvox .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google