HISR: Hybrid Implicit Surface Representation for Photorealistic 3D Human Reconstruction

要約

ニューラルの再構成およびレンダリング戦略は、高レベルの形状詳細を保存する機能のおかげで、最先端のパフォーマンスを実証しています。
しかし、既存のアプローチはオブジェクトを暗黙の表面関数または神経ボリュームとして表現しており、不均質な素材、特に人間の皮膚、髪、衣服などの形状を復元するのに依然として苦労しています。
この目的のために、人間の形状をモデル化するための新しいハイブリッド暗黙的な表面表現を提案します。
この表現は、衣服を着た人体の不透明な領域と半透明な領域を表す 2 つの表面レイヤーで構成されています。
視覚的な手がかりを使用してさまざまな領域を自動的にセグメント化し、2 つの符号付き距離関数 (SDF) を再構成する方法を学習します。
不透明な領域 (体、顔、衣服など) でサーフェスベースのレンダリングを実行し、忠実度の高い表面法線と半透明な領域 (髪など) でのボリューム レンダリングを維持します。
実験では、私たちのアプローチが 3D 人間の再構成に関して最先端の結果が得られ、他のオブジェクトに対しても競合するパフォーマンスを示していることが実証されています。

要約(オリジナル)

Neural reconstruction and rendering strategies have demonstrated state-of-the-art performances due, in part, to their ability to preserve high level shape details. Existing approaches, however, either represent objects as implicit surface functions or neural volumes and still struggle to recover shapes with heterogeneous materials, in particular human skin, hair or clothes. To this aim, we present a new hybrid implicit surface representation to model human shapes. This representation is composed of two surface layers that represent opaque and translucent regions on the clothed human body. We segment different regions automatically using visual cues and learn to reconstruct two signed distance functions (SDFs). We perform surface-based rendering on opaque regions (e.g., body, face, clothes) to preserve high-fidelity surface normals and volume rendering on translucent regions (e.g., hair). Experiments demonstrate that our approach obtains state-of-the-art results on 3D human reconstructions, and also shows competitive performances on other objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google