NRDF: Neural Riemannian Distance Fields for Learning Articulated Pose Priors

要約

関節の空間を忠実にモデリングすることは、現実的なポーズの復元と生成を可能にする重要な作業であり、依然として悪名高い課題です。
この目的を達成するために、高次元の積四元数空間におけるニューラル場のゼロレベルセットとして表される、もっともらしいアーティキュレーションの空間をモデル化するデータ駆動型事前確率であるニューラル リーマン距離場 (NRDF) を導入します。
正の例のみで NRDF をトレーニングするために、新しいサンプリング アルゴリズムを導入し、測地線距離が望ましい分布に従うようにし、原則に基づいた距離フィールド学習パラダイムを生み出します。
次に、関節回転の積多様体を常に遵守しながら、適応ステップ リーマン オプティマイザによってランダムなポーズをレベルセットにマッピングする投影アルゴリズムを考案します。
NRDF は、バックプロパゲーションおよび数学的アナロジーによってリーマン勾配を計算でき、最近の生成モデルであるリーマン流マッチングに関連しています。
我々は、さまざまな下流タスク（つまり、姿勢生成、画像ベースの姿勢推定、逆運動学の解決）において、他の姿勢事前分布に対する NRDF の包括的な評価を実施し、NRDF の優れたパフォーマンスを強調します。
NRDF はあらゆる関節を効果的に表現できるため、人間だけでなく、手や動物のポーズにもその多用途性が広がります。

要約(オリジナル)

Faithfully modeling the space of articulations is a crucial task that allows recovery and generation of realistic poses, and remains a notorious challenge. To this end, we introduce Neural Riemannian Distance Fields (NRDFs), data-driven priors modeling the space of plausible articulations, represented as the zero-level-set of a neural field in a high-dimensional product-quaternion space. To train NRDFs only on positive examples, we introduce a new sampling algorithm, ensuring that the geodesic distances follow a desired distribution, yielding a principled distance field learning paradigm. We then devise a projection algorithm to map any random pose onto the level-set by an adaptive-step Riemannian optimizer, adhering to the product manifold of joint rotations at all times. NRDFs can compute the Riemannian gradient via backpropagation and by mathematical analogy, are related to Riemannian flow matching, a recent generative model. We conduct a comprehensive evaluation of NRDF against other pose priors in various downstream tasks, i.e., pose generation, image-based pose estimation, and solving inverse kinematics, highlighting NRDF’s superior performance. Besides humans, NRDF’s versatility extends to hand and animal poses, as it can effectively represent any articulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google