HARP: Personalized Hand Reconstruction from a Monocular RGB Video

要約

HARP (HAnd Reconstruction and Personalization) を提示します。これは、人間の手の短い単眼 RGB ビデオを入力として受け取り、忠実度の高い外観とジオメトリを示す忠実な手のアバターを再構築する、パーソナライズされた手のアバター作成アプローチです。
ニューラルの暗黙的表現の主要な傾向とは対照的に、HARP は、メッシュベースのパラメトリック ハンド モデル、頂点変位マップ、法線マップ、およびニューラル コンポーネントを使用しないアルベドを使用して手をモデル化します。
私たちの実験で検証されたように、私たちの表現の明示的な性質により、真にスケーラブルで堅牢で効率的なアバター作成へのアプローチが可能になります。
HARP は、携帯電話でキャプチャされた短いシーケンスからの勾配降下によって最適化され、リアルタイム レンダリング機能を備えた AR/VR アプリケーションで直接使用できます。
これを可能にするために、高度なアーティキュレーションやハンド モーション シーケンスに定期的に存在するセルフ シャドウイング、および困難な照明条件に対してロバストな、シャドウを意識した微分可能なレンダリング スキームを慎重に設計して実装します。
また、目に見えないポーズや斬新な視点に一般化し、高度に関節運動を実行する手のアニメーションの写真のようにリアルなレンダリングを生成します。
さらに、学習した HARP 表現を使用して、困難な視点での 3D ハンドポーズ推定の品質を向上させることができます。
HARP の主な利点は、外観の再構成、斬新なビューと斬新なポーズの合成、および 3D ハンド ポーズの洗練に関する詳細な分析によって検証されます。
これは、優れた忠実度とスケーラビリティを示す、AR/VR 対応のパーソナライズされた手の表現です。

要約(オリジナル)

We present HARP (HAnd Reconstruction and Personalization), a personalized hand avatar creation approach that takes a short monocular RGB video of a human hand as input and reconstructs a faithful hand avatar exhibiting a high-fidelity appearance and geometry. In contrast to the major trend of neural implicit representations, HARP models a hand with a mesh-based parametric hand model, a vertex displacement map, a normal map, and an albedo without any neural components. As validated by our experiments, the explicit nature of our representation enables a truly scalable, robust, and efficient approach to hand avatar creation. HARP is optimized via gradient descent from a short sequence captured by a hand-held mobile phone and can be directly used in AR/VR applications with real-time rendering capability. To enable this, we carefully design and implement a shadow-aware differentiable rendering scheme that is robust to high degree articulations and self-shadowing regularly present in hand motion sequences, as well as challenging lighting conditions. It also generalizes to unseen poses and novel viewpoints, producing photo-realistic renderings of hand animations performing highly-articulated motions. Furthermore, the learned HARP representation can be used for improving 3D hand pose estimation quality in challenging viewpoints. The key advantages of HARP are validated by the in-depth analyses on appearance reconstruction, novel-view and novel pose synthesis, and 3D hand pose refinement. It is an AR/VR-ready personalized hand representation that shows superior fidelity and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google