Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivariance

要約

タイトル：アーティキュレーションSE（3）等変性で見ぬポーズに対してニューラルヒューマンフィッティングを一般化する。

要約：
– SMPL形式パラメトリックヒューマンボディーモデルをポイントクラウドデータにフィッティングする問題の解決を提案。
– 最適化に基づく方法は適切な初期化が必要であり、局所的な最適解に陥る傾向がある。学習ベースのアプローチにはこの問題を解決するが、トレーニングの際の入力ポーズとかけ離れた場合には汎化できない。
– 前回の研究では、SE（3）-等変換ネットワークを活用して剛性ポイントクラウドに対して顕著な汎化を達成したが、アーティキュレートされた物体ではその方法は機能しない。
– 本稿では、アーティキュラションSE（3）等変性アーキテクチャを提案し、部品検出ネットワークを学習することで、ポイントクラウドからSMPLモデルの推定を行う。
– 最新のアルゴリズムを74.5%上回り、最適化リファインメントステップを必要とせずに、トレーニング中に見たことのない姿勢に対して汎化可能であることが実験結果から示された。
– 推論中に競合作品に比べて3つの桁以上高速であり、パラメータ数も97.3%少なく、研究目的のためのコードとモデルの提供される。

要約(オリジナル)

We address the problem of fitting a parametric human body model (SMPL) to point cloud data. Optimization-based methods require careful initialization and are prone to becoming trapped in local optima. Learning-based methods address this but do not generalize well when the input pose is far from those seen during training. For rigid point clouds, remarkable generalization has been achieved by leveraging SE(3)-equivariant networks, but these methods do not work on articulated objects. In this work we extend this idea to human bodies and propose ArtEq, a novel part-based SE(3)-equivariant neural architecture for SMPL model estimation from point clouds. Specifically, we learn a part detection network by leveraging local SO(3) invariance, and regress shape and pose using articulated SE(3) shape-invariant and pose-equivariant networks, all trained end-to-end. Our novel equivariant pose regression module leverages the permutation-equivariant property of self-attention layers to preserve rotational equivariance. Experimental results show that ArtEq can generalize to poses not seen during training, outperforming state-of-the-art methods by 74.5%, without requiring an optimization refinement step. Further, compared with competing works, our method is more than three orders of magnitude faster during inference and has 97.3% fewer parameters. The code and model will be available for research purposes at https://arteq.is.tue.mpg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI