Multi-modal Pose Diffuser: A Multimodal Generative Conditional Pose Prior

要約

スキン付きマルチパーソン線形 (SMPL) モデルは、3D 人間の姿勢推定において重要な役割を果たし、人体の合理的かつ効果的な表現を提供します。
ただし、人間のメッシュ回帰などのタスク中に SMPL 構成の有効性を確保することは依然として大きな課題であり、現実的な人間のポーズを識別できる堅牢な人間のポーズ プリアの必要性が強調されています。
これに対処するために、MOPED: \underline{M}ulti-m\underline{O}dal \underline{P}os\underline{E} \underline{D}iffuser を導入します。
MOPED は、SMPL ポーズ パラメーターの事前分布として新しいマルチモーダル条件付き拡散モデルを利用する最初の方法です。
私たちの方法は、画像やテキストなどのマルチモーダル入力を条件付ける機能を備えた、強力な無条件のポーズ生成を提供します。
この機能は、従来の事前ポーズでは見落とされがちな追加のコンテキストを組み込むことで、アプローチの適用性を高めます。
3 つの異なるタスク (ポーズ推定、ポーズのノイズ除去、ポーズの完了) にわたる広範な実験により、マルチモーダル拡散モデルに基づく事前の手法が既存の手法よりも大幅に優れていることが実証されました。
これらの結果は、私たちのモデルが人間のもっともらしいポーズをより広範囲に捉えていることを示しています。

要約(オリジナル)

The Skinned Multi-Person Linear (SMPL) model plays a crucial role in 3D human pose estimation, providing a streamlined yet effective representation of the human body. However, ensuring the validity of SMPL configurations during tasks such as human mesh regression remains a significant challenge , highlighting the necessity for a robust human pose prior capable of discerning realistic human poses. To address this, we introduce MOPED: \underline{M}ulti-m\underline{O}dal \underline{P}os\underline{E} \underline{D}iffuser. MOPED is the first method to leverage a novel multi-modal conditional diffusion model as a prior for SMPL pose parameters. Our method offers powerful unconditional pose generation with the ability to condition on multi-modal inputs such as images and text. This capability enhances the applicability of our approach by incorporating additional context often overlooked in traditional pose priors. Extensive experiments across three distinct tasks-pose estimation, pose denoising, and pose completion-demonstrate that our multi-modal diffusion model-based prior significantly outperforms existing methods. These results indicate that our model captures a broader spectrum of plausible human poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google