Score-Guided Diffusion for 3D Human Recovery

要約

3D 人間のポーズと形状の再構成の逆問題を解決するためのアプローチである、スコアガイド付きヒューマン メッシュ回復 (ScoreHMR) を紹介します。
これらの逆問題には、人体モデルを画像観察に適合させることが含まれており、従来は最適化手法によって解決されてきました。
ScoreHMR はモデル フィッティングのアプローチを模倣していますが、画像観察との位置合わせは拡散モデルの潜在空間におけるスコア ガイダンスを通じて実現されます。
拡散モデルは、入力画像が与えられた人間モデルのパラメータの条件付き分布をキャプチャするようにトレーニングされます。
ScoreHMR は、タスク固有のスコアを使用してノイズ除去プロセスをガイドすることで、タスクに依存しない拡散モデルを再トレーニングすることなく、さまざまなアプリケーションの逆問題を効果的に解決します。
私たちは 3 つの設定/アプリケーションでアプローチを評価します。
(i) 単一フレーム モデルのフィッティング。
(ii) 複数の未校正ビューからの再構成。
(iii) ビデオシーケンスで人間を再構成する。
ScoreHMR は、すべての設定にわたる一般的なベンチマークのすべての最適化ベースラインを一貫して上回っています。
コードとモデルは https://statho.github.io/ScoreHMR で公開しています。

要約(オリジナル)

We present Score-Guided Human Mesh Recovery (ScoreHMR), an approach for solving inverse problems for 3D human pose and shape reconstruction. These inverse problems involve fitting a human body model to image observations, traditionally solved through optimization techniques. ScoreHMR mimics model fitting approaches, but alignment with the image observation is achieved through score guidance in the latent space of a diffusion model. The diffusion model is trained to capture the conditional distribution of the human model parameters given an input image. By guiding its denoising process with a task-specific score, ScoreHMR effectively solves inverse problems for various applications without the need for retraining the task-agnostic diffusion model. We evaluate our approach on three settings/applications. These are: (i) single-frame model fitting; (ii) reconstruction from multiple uncalibrated views; (iii) reconstructing humans in video sequences. ScoreHMR consistently outperforms all optimization baselines on popular benchmarks across all settings. We make our code and models available at the https://statho.github.io/ScoreHMR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google