Occlusion Handling in 3D Human Pose Estimation with Perturbed Positional Encoding

要約

人間の行動を理解するには、基本的に正確な 3D 人間の姿勢推定が必要です。
グラフ畳み込みネットワーク (GCN) は最近、有望な進歩を示し、かなり軽量のアーキテクチャで最先端のパフォーマンスを提供します。
グラフ構造化データのコンテキストでは、位置エンコードにグラフ ラプラシアン行列の固有ベクトルを利用することが効果的です。
ただし、このアプローチでは、入力グラフのエッジが欠落しているシナリオを処理する方法は指定されていません。
この目的を達成するために、固有基底から一貫した規則的な成分を抽出する新しい位置エンコーディング技術 PerturbPE を提案します。
私たちの方法では、複数の摂動を適用し、それらの平均をとって固有基底から一貫した規則的な成分を抽出します。
PerturbPE は、レイリー・シュレーディンガー摂動定理 (RSPT) を利用して摂動固有ベクトルを計算します。
このラベル付け手法を採用すると、モデルの堅牢性と一般化性が向上します。
私たちの結果は、理論的な発見を裏付けています。
私たちの実験分析では、オクルージョンにより 1 つのエッジが欠如したインスタンスにおいて、Human3.6M データセットで最大 $12\%$ のパフォーマンス向上が観察されました。
さらに、当社の新しいアプローチは、2 つのエッジが欠落しているシナリオでのパフォーマンスを大幅に向上させ、最先端の新しいベンチマークを設定します。

要約(オリジナル)

Understanding human behavior fundamentally relies on accurate 3D human pose estimation. Graph Convolutional Networks (GCNs) have recently shown promising advancements, delivering state-of-the-art performance with rather lightweight architectures. In the context of graph-structured data, leveraging the eigenvectors of the graph Laplacian matrix for positional encoding is effective. Yet, the approach does not specify how to handle scenarios where edges in the input graph are missing. To this end, we propose a novel positional encoding technique, PerturbPE, that extracts consistent and regular components from the eigenbasis. Our method involves applying multiple perturbations and taking their average to extract the consistent and regular component from the eigenbasis. PerturbPE leverages the Rayleigh-Schrodinger Perturbation Theorem (RSPT) for calculating the perturbed eigenvectors. Employing this labeling technique enhances the robustness and generalizability of the model. Our results support our theoretical findings, e.g. our experimental analysis observed a performance enhancement of up to $12\%$ on the Human3.6M dataset in instances where occlusion resulted in the absence of one edge. Furthermore, our novel approach significantly enhances performance in scenarios where two edges are missing, setting a new benchmark for state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google