Domain Adaptive 3D Pose Augmentation for In-the-wild Human Mesh Recovery

要約

単一の画像から3D人体を知覚する機能には、エンターテインメントやロボット工学から神経科学やヘルスケアに至るまで、さまざまな用途があります。
人間のメッシュ回復における基本的な課題は、トレーニングに必要なグラウンドトゥルース3Dメッシュターゲットを収集することです。これには、煩わしいモーションキャプチャシステムが必要であり、多くの場合、屋内の実験室に限定されます。
その結果、これらの制限された設定で収集されたベンチマークデータセットは進歩していますが、分布の変化により、モデルを実際の「実際の」シナリオに一般化することはできません。
ドメインアダプティブ3Dポーズ拡張（DAPA）を提案します。これは、実際のシナリオでモデルの一般化能力を強化するデータ拡張方法です。
DAPAは、合成されたメッシュから直接監視を取得することによる合成データセットに基づく方法の長所と、ターゲットデータセットからのグラウンドトゥルース2Dキーポイントを使用することによるドメイン適応方法を組み合わせたものです。
DAPAを使用した微調整により、ベンチマーク3DPWおよびAGORAの結果が効果的に改善されることを定量的に示します。
さらに、実際の親子の相互作用のビデオからキュレーションされた挑戦的なデータセットでのDAPAの有用性を示します。

要約(オリジナル)

The ability to perceive 3D human bodies from a single image has a multitude of applications ranging from entertainment and robotics to neuroscience and healthcare. A fundamental challenge in human mesh recovery is in collecting the ground truth 3D mesh targets required for training, which requires burdensome motion capturing systems and is often limited to indoor laboratories. As a result, while progress is made on benchmark datasets collected in these restrictive settings, models fail to generalize to real-world “in-the-wild” scenarios due to distribution shifts. We propose Domain Adaptive 3D Pose Augmentation (DAPA), a data augmentation method that enhances the model’s generalization ability in in-the-wild scenarios. DAPA combines the strength of methods based on synthetic datasets by getting direct supervision from the synthesized meshes, and domain adaptation methods by using ground truth 2D keypoints from the target dataset. We show quantitatively that finetuning with DAPA effectively improves results on benchmarks 3DPW and AGORA. We further demonstrate the utility of DAPA on a challenging dataset curated from videos of real-world parent-child interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google