PoSynDA: Multi-Hypothesis Pose Synthesis Domain Adaptation for Robust 3D Human Pose Estimation

要約

既存の 3D 人間の姿勢推定器は、トレーニング セットに 2D-3D の姿勢ペアが不足しているため、新しいデータセットに適応する際に課題に直面しています。
この問題を克服するために、このデータを橋渡しする \textit{Multi-Hypothesis \textbf{P}ose \textbf{Syn}thesis \textbf{D}omain \textbf{A}daptation} (\textbf{PoSynDA}) フレームワークを提案します。
対象ドメイン内の格差ギャップ。
通常、PoSynDA は拡散にインスピレーションを得た構造を使用して、ターゲット ドメイン内の 3D 姿勢分布をシミュレートします。
複数仮説ネットワークを組み込むことにより、PoSynDA は多様な姿勢仮説を生成し、それらをターゲット ドメインに合わせます。
これを行うには、まずターゲット固有のソース拡張を利用して、スケールと位置のパラメーターを分離することで、ソース ドメインからターゲット ドメインの分布データを取得します。
このプロセスは、教師と生徒のパラダイムと低ランクの適応を通じてさらに洗練されます。
Human3.6M や MPI-INF-3DHP などのベンチマークを広範に比較することで、PoSynDA は、ターゲットでトレーニングされた MixSTE モデルとさえ匹敵するパフォーマンスを実証しました\cite{zhang2022mixste}。
この研究は、目に見えない領域での 3D 人間の姿勢推定の実用化への道を開きます。
コードは https://github.com/hbing-l/PoSynDA で入手できます。

要約(オリジナル)

Existing 3D human pose estimators face challenges in adapting to new datasets due to the lack of 2D-3D pose pairs in training sets. To overcome this issue, we propose \textit{Multi-Hypothesis \textbf{P}ose \textbf{Syn}thesis \textbf{D}omain \textbf{A}daptation} (\textbf{PoSynDA}) framework to bridge this data disparity gap in target domain. Typically, PoSynDA uses a diffusion-inspired structure to simulate 3D pose distribution in the target domain. By incorporating a multi-hypothesis network, PoSynDA generates diverse pose hypotheses and aligns them with the target domain. To do this, it first utilizes target-specific source augmentation to obtain the target domain distribution data from the source domain by decoupling the scale and position parameters. The process is then further refined through the teacher-student paradigm and low-rank adaptation. With extensive comparison of benchmarks such as Human3.6M and MPI-INF-3DHP, PoSynDA demonstrates competitive performance, even comparable to the target-trained MixSTE model\cite{zhang2022mixste}. This work paves the way for the practical application of 3D human pose estimation in unseen domains. The code is available at https://github.com/hbing-l/PoSynDA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google