Decanus to Legatus: Synthetic training for 2D-3D human pose lifting

要約

3次元人体姿勢推定は、制御された環境以外ではグランドトゥルースデータの取得が困難であるため、困難なタスクである。さらに、異なるデータセット間の領域ギャップ、トレーニングデータセットとテストデータセット間の未見動作、様々なハードウェア設定、アノテーションの高コストなど、多くの問題がこのタスクのための普遍的で頑健なモデル構築の進展を妨げてきた。本論文では、2D→3Dヒューマンポーズリフターニューラルネットワークの学習時に、10個の初期手作り3Dポーズ（Decanus）に基づく3Dポーズ分布から、無限3D合成人間ポーズ（Legatus）を生成するアルゴリズムを提案する。その結果、専門的なデータセットからの実データを用いた手法と同等の3Dポーズ推定性能を、ゼロショット設定で達成することができ、本フレームワークの一般化の可能性を示している。

要約(オリジナル)

3D human pose estimation is a challenging task because of the difficulty to acquire ground-truth data outside of controlled environments. A number of further issues have been hindering progress in building a universal and robust model for this task, including domain gaps between different datasets, unseen actions between train and test datasets, various hardware settings and high cost of annotation, etc. In this paper, we propose an algorithm to generate infinite 3D synthetic human poses (Legatus) from a 3D pose distribution based on 10 initial handcrafted 3D poses (Decanus) during the training of a 2D to 3D human pose lifter neural network. Our results show that we can achieve 3D pose estimation performance comparable to methods using real data from specialized datasets but in a zero-shot setup, showing the generalization potential of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL