Fine Structure-Aware Sampling: A New Sampling Training Scheme for Pixel-Aligned Implicit Models in Single-View Human Reconstruction

要約

PIFu、PIFuHD、ICON などのピクセル位置合わせされた暗黙的モデルは、単一ビューの服を着た人間の再構成に使用されます。
これらのモデルは、サンプリング トレーニング スキームを使用してトレーニングする必要があります。
既存のサンプリング トレーニング スキームは、薄い表面 (例: 耳、指) をキャプチャできないか、再構成されたメッシュにノイズの多いアーティファクトを引き起こします。
これらの問題に対処するために、単一ビューの人間の再構成用にピクセル位置合わせされた暗黙的モデルをトレーニングするための新しいサンプリング トレーニング スキームである Fine Structured-Aware Sampling (FSS) を導入します。
FSS は、表面の厚さと複雑さに積極的に適応することで、前述の問題を解決します。
さらに、既存のサンプリング トレーニング スキームとは異なり、FSS は、サンプル ポイントの法線をトレーニング プロセスで活用して結果を改善する方法を示します。
最後に、トレーニング プロセスをさらに改善するために、FSS はピクセル位置合わせされた陰的モデルのメッシュ厚さ損失信号を提案します。
ピクセル位置合わせされた陰的関数フレームワークのわずかな再加工が実行されると、この損失を導入することが計算上可能になります。
私たちの結果は、私たちの方法がSOTA方法よりも質的および量的に大幅に優れていることを示しています。
私たちのコードは https://github.com/kcyt/FSS で公開されています。

要約(オリジナル)

Pixel-aligned implicit models, such as PIFu, PIFuHD, and ICON, are used for single-view clothed human reconstruction. These models need to be trained using a sampling training scheme. Existing sampling training schemes either fail to capture thin surfaces (e.g. ears, fingers) or cause noisy artefacts in reconstructed meshes. To address these problems, we introduce Fine Structured-Aware Sampling (FSS), a new sampling training scheme to train pixel-aligned implicit models for single-view human reconstruction. FSS resolves the aforementioned problems by proactively adapting to the thickness and complexity of surfaces. In addition, unlike existing sampling training schemes, FSS shows how normals of sample points can be capitalized in the training process to improve results. Lastly, to further improve the training process, FSS proposes a mesh thickness loss signal for pixel-aligned implicit models. It becomes computationally feasible to introduce this loss once a slight reworking of the pixel-aligned implicit function framework is carried out. Our results show that our methods significantly outperform SOTA methods qualitatively and quantitatively. Our code is publicly available at https://github.com/kcyt/FSS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google