GST: Precise 3D Human Body from a Single Image with Gaussian Splatting Transformers

要約

単眼画像からリアルな 3D 人体モデルを再構築することは、クリエイティブ産業、ヒューマン コンピューター インターフェイス、医療分野で重要な用途に役立ちます。
私たちは、ガウスの混合で構成されるシーン表現である 3D ガウス スプラッティング (3DGS) に基づいて作業を行っています。
単一の入力画像から人間のこのような混合を予測することは、厳密な物理的制約を持つ不均一な密度 (入力ピクセルと多対 1 の関係を持つ) であるため、困難です。
同時に、さまざまな服装やポーズに対応できる柔軟性も必要です。
私たちの重要な観察は、標準化されたヒューマン メッシュ (SMPL など) の頂点が、ガウス分布に適切な密度とおおよその初期位置を提供できるということです。
次に、これらの位置に対する比較的小さな調整だけでなく、他のガウス分布の属性や SMPL パラメーターを共同で予測するために、トランスフォーマー モデルをトレーニングすることができます。
この組み合わせ（マルチビュー監視のみを使用）により、テスト時間の最適化、高価な拡散モデル、または 3D ポイント監視を使用せずに、単一の画像から 3D 人体モデルの高速推論を達成できることを経験的に示します。
また、衣服やその他のバリエーションを考慮した人間モデルの適合性を高めることで、3D 姿勢推定を改善できることも示します。
コードはプロジェクト Web サイト https://abdullahamdi.com/gst/ で入手できます。

要約(オリジナル)

Reconstructing realistic 3D human models from monocular images has significant applications in creative industries, human-computer interfaces, and healthcare. We base our work on 3D Gaussian Splatting (3DGS), a scene representation composed of a mixture of Gaussians. Predicting such mixtures for a human from a single input image is challenging, as it is a non-uniform density (with a many-to-one relationship with input pixels) with strict physical constraints. At the same time, it needs to be flexible to accommodate a variety of clothes and poses. Our key observation is that the vertices of standardized human meshes (such as SMPL) can provide an adequate density and approximate initial position for Gaussians. We can then train a transformer model to jointly predict comparatively small adjustments to these positions, as well as the other Gaussians’ attributes and the SMPL parameters. We show empirically that this combination (using only multi-view supervision) can achieve fast inference of 3D human models from a single image without test-time optimization, expensive diffusion models, or 3D points supervision. We also show that it can improve 3D pose estimation by better fitting human models that account for clothes and other variations. The code is available on the project website https://abdullahamdi.com/gst/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google