HeatFormer: A Neural Optimizer for Multiview Human Mesh Recovery

要約

複数の静的ビューを完全に活用できる、人間の形状と姿勢を復元するための新しい方法を紹介します。
当社は、高齢者介護や安全監視など、固定マルチビューの人物監視をターゲットとしています。この監視では、キャリブレーション済みのカメラを部屋の隅やオープンスペースに設置できますが、その構成は環境によって異なります。
私たちの重要なアイデアは、それをニューラル最適化として定式化することです。
これは、マルチビュー画像を指定して SMPL パラメーターを繰り返し調整するニューラル オプティマイザーである HeatFormer を使用してこれを実現します。これは基本的にビューの構成に影響を与えます。
HeatFormer は、この SMPL パラメータ推定をヒート マップの生成および新しいトランスフォーマー エンコーダーおよびデコーダーとの調整として実現します。
私たちは、広範な実験を通じて、精度、閉塞に対する堅牢性、一般化可能性など、HeatFormer の有効性を実証します。
私たちは、HeatFormer が受動的な人間の行動モデリングにおいて重要な役割を果たすことができると信じています。

要約(オリジナル)

We introduce a novel method for human shape and pose recovery that can fully leverage multiple static views. We target fixed-multiview people monitoring, including elderly care and safety monitoring, in which calibrated cameras can be installed at the corners of a room or an open space but whose configuration may vary depending on the environment. Our key idea is to formulate it as neural optimization. We achieve this with HeatFormer, a neural optimizer that iteratively refines the SMPL parameters given multiview images, which is fundamentally agonistic to the configuration of views. HeatFormer realizes this SMPL parameter estimation as heat map generation and alignment with a novel transformer encoder and decoder. We demonstrate the effectiveness of HeatFormer including its accuracy, robustness to occlusion, and generalizability through an extensive set of experiments. We believe HeatFormer can serve a key role in passive human behavior modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google