Fast-SNARF: A Fast Deformer for Articulated Neural Fields

要約

ニューラル フィールドは、3D 再構成と剛体シーンの新しいビュー合成の分野に革命をもたらしました。
このような方法を人体などの多関節オブジェクトに適用する際の重要な課題は、静止ポーズ (正準空間) と変形空間の間の 3D 位置の変形をモデル化することです。
ニューラル フィールド用の新しいアーティキュレーション モジュール Fast-SNARF を提案します。Fast-SNARF は、正準空間とポーズ空間の間の正確な対応を、反復的な根探索によって見つけます。
Fast-SNARF は、計算効率を大幅に向上させながら、以前の作業である SNARF の機能を簡単に置き換えるものです。
SNARF よりもいくつかのアルゴリズムと実装の改善に貢献し、$150\times$ のスピードアップを実現しました。
これらの改善には、ボクセルベースの対応検索、線形ブレンド スキニング関数の事前計算、および CUDA カーネルを使用した効率的なソフトウェア実装が含まれます。
Fast-SNARF を使用すると、対応関係のない変形観測 (3D メッシュなど) を考慮して、形状とスキニングの重みを効率的かつ同時に最適化できます。
変形マップの学習は、多くの 3D ヒューマン アバター メソッドの重要な要素であり、Fast-SNARF は計算効率の高いソリューションを提供するため、この作業は 3D 仮想ヒューマンの実用的な作成に向けた重要なステップを表すと考えています。

要約(オリジナル)

Neural fields have revolutionized the area of 3D reconstruction and novel view synthesis of rigid scenes. A key challenge in making such methods applicable to articulated objects, such as the human body, is to model the deformation of 3D locations between the rest pose (a canonical space) and the deformed space. We propose a new articulation module for neural fields, Fast-SNARF, which finds accurate correspondences between canonical space and posed space via iterative root finding. Fast-SNARF is a drop-in replacement in functionality to our previous work, SNARF, while significantly improving its computational efficiency. We contribute several algorithmic and implementation improvements over SNARF, yielding a speed-up of $150\times$. These improvements include voxel-based correspondence search, pre-computing the linear blend skinning function, and an efficient software implementation with CUDA kernels. Fast-SNARF enables efficient and simultaneous optimization of shape and skinning weights given deformed observations without correspondences (e.g. 3D meshes). Because learning of deformation maps is a crucial component in many 3D human avatar methods and since Fast-SNARF provides a computationally efficient solution, we believe that this work represents a significant step towards the practical creation of 3D virtual humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google