PoSynDA: Multi-Hypothesis Pose Synthesis Domain Adaptation for Robust 3D Human Pose Estimation

要約

現在の 3D 人間の姿勢推定器は、ターゲット ドメインのトレーニング セットに 2D-3D の姿勢ペアが不足しているため、新しいデータセットに適応する際に課題に直面しています。
私たちは、広範なターゲット ドメインを使用せずにこの問題を克服する \textit{Multi-Hypothesis \textbf{P}ose \textbf{Syn}thesis \textbf{D}omain \textbf{A}daptation} (\textbf{PoSynDA}) フレームワークを紹介します。
注釈。
PoSynDA は、拡散中心の構造を利用して、ターゲット ドメイン内の 3D ポーズ分布をシミュレートし、データの多様性のギャップを埋めます。
複数仮説ネットワークを組み込むことで、多様な姿勢仮説を作成し、それらをターゲット ドメインに合わせます。
ターゲット固有のソース拡張では、スケールと位置のパラメーターを分離することで、ソース ドメインからターゲット ドメインの分布データを取得します。
教師と生徒のパラダイムと低ランクの適応により、プロセスがさらに洗練されます。
PoSynDA は、Human3.6M、MPI-INF-3DHP、3DPW などのベンチマークで競争力のあるパフォーマンスを示し、ターゲットでトレーニングされた MixSTE モデルにも匹敵します~\cite{zhang2022mixste}。
この研究は、3D 人間の姿勢推定の実用化への道を開きます。
コードは https://github.com/hbing-l/PoSynDA で入手できます。

要約(オリジナル)

The current 3D human pose estimators face challenges in adapting to new datasets due to the scarcity of 2D-3D pose pairs in target domain training sets. We present the \textit{Multi-Hypothesis \textbf{P}ose \textbf{Syn}thesis \textbf{D}omain \textbf{A}daptation} (\textbf{PoSynDA}) framework to overcome this issue without extensive target domain annotation. Utilizing a diffusion-centric structure, PoSynDA simulates the 3D pose distribution in the target domain, filling the data diversity gap. By incorporating a multi-hypothesis network, it creates diverse pose hypotheses and aligns them with the target domain. Target-specific source augmentation obtains the target domain distribution data from the source domain by decoupling the scale and position parameters. The teacher-student paradigm and low-rank adaptation further refine the process. PoSynDA demonstrates competitive performance on benchmarks, such as Human3.6M, MPI-INF-3DHP, and 3DPW, even comparable with the target-trained MixSTE model~\cite{zhang2022mixste}. This work paves the way for the practical application of 3D human pose estimation. The code is available at https://github.com/hbing-l/PoSynDA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google