MetricHMR: Metric Human Mesh Recovery from Monocular Images

要約

単眼画像からの正確なグローバル翻訳を使用したメトリックヒトメッシュ回復のアプローチであるMetrichMR（メトリックヒトメッシュ回復）を紹介します。
深刻なスケールと深さのあいまいさに悩まされている既存のHMRメソッドとは対照的に、MetrichMRは再構築結果で幾何学的に合理的な体型とグローバルな翻訳を生成することができます。
この目的のために、最初にカメラモデルの以前のHMRメソッドを体系的に分析して、メトリックスケールのHMRを有効にする際の標準的な視点投影モデルの重要な役割を強調します。
次に、標準的な視点投影モデルの下で、メトリックHMRの許容可能なあいまいさの範囲を検証します。
最後に、追加のメトリック正規化モジュールなしでEND2ENDメトリックHMRの境界ボックス情報、カメラパラメーター、および幾何学的キューを共同でエンコードする標準的な視点投影に基づいて、レイマップを導入する新しいアプローチを提供します。
広範な実験は、屋内と野生の両方のシナリオでメトリックポーズ、形状、およびグローバルな翻訳の推定で、シーケンシャルなHMRメソッドと比較して、私たちの方法が最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

We introduce MetricHMR (Metric Human Mesh Recovery), an approach for metric human mesh recovery with accurate global translation from monocular images. In contrast to existing HMR methods that suffer from severe scale and depth ambiguity, MetricHMR is able to produce geometrically reasonable body shape and global translation in the reconstruction results. To this end, we first systematically analyze previous HMR methods on camera models to emphasize the critical role of the standard perspective projection model in enabling metric-scale HMR. We then validate the acceptable ambiguity range of metric HMR under the standard perspective projection model. Finally, we contribute a novel approach that introduces a ray map based on the standard perspective projection to jointly encode bounding-box information, camera parameters, and geometric cues for End2End metric HMR without any additional metric-regularization modules. Extensive experiments demonstrate that our method achieves state-of-the-art performance, even compared with sequential HMR methods, in metric pose, shape, and global translation estimation across both indoor and in-the-wild scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google