Gaussian Garments: Reconstructing Simulation-Ready Clothing with Photorealistic Appearance from Multi-View Video

要約

マルチビュー ビデオからリアルなシミュレーション対応の衣服アセットを再構築する新しいアプローチである Gaussian Garments を紹介します。
私たちの手法では、3D メッシュと、色と高周波表面の詳細の両方をエンコードするガウス テクスチャの組み合わせで衣服を表現します。
この表現により、衣服のジオメトリをマルチビュー ビデオに正確に登録できるようになり、アルベド テクスチャを照明効果から解きほぐすのに役立ちます。
さらに、事前トレーニングされたグラフ ニューラル ネットワーク (GNN) を微調整して各衣服の実際の動作を再現する方法を示します。
再構築されたガウス衣服は、複数の衣服の服装に自動的に結合され、微調整された GNN でアニメーション化されます。

要約(オリジナル)

We introduce Gaussian Garments, a novel approach for reconstructing realistic simulation-ready garment assets from multi-view videos. Our method represents garments with a combination of a 3D mesh and a Gaussian texture that encodes both the color and high-frequency surface details. This representation enables accurate registration of garment geometries to multi-view videos and helps disentangle albedo textures from lighting effects. Furthermore, we demonstrate how a pre-trained graph neural network (GNN) can be fine-tuned to replicate the real behavior of each garment. The reconstructed Gaussian Garments can be automatically combined into multi-garment outfits and animated with the fine-tuned GNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google