Two Views Are Better than One: Monocular 3D Pose Estimation with Multiview Consistency

要約

複数の3Dポーズが同じ2D表現に対応できるため、単一の2D画像から3Dヒューマンポーズを推定することは本質的に挑戦的です。
3Dデータはこのポーズのあいまいさを解決できますが、記録するのに費用がかかり、制御されたラボ環境に制限されることが多い複雑なセットアップが必要です。
トレーニング中にのみマルチビューデータを使用して、推論中ではなく、深い学習ベースの単眼3Dヒトポーズ推定モデルのパフォーマンスを改善する方法を提案します。
2つの同期ビューで動作する新しい損失関数、一貫性の損失を導入します。
このアプローチは、3Dグラウンドトゥルースまたは内因性および外因性のカメラパラメーターを必要とする以前のモデルよりも簡単です。
一貫性の損失は、剛性アラインメント後の2つのポーズシーケンスの差をペナルティします。
また、一貫性の損失が、3Dデータを必要とせずに微調整のパフォーマンスを大幅に改善することを実証します。
さらに、一貫性の損失を使用することで、モデルをゼロからトレーニングするときに、半監視された方法でモデルをトレーニングすると、最先端のパフォーマンスが得られることがわかります。
私たちの調査結果は、新しいドメインなどの新しいデータをキャプチャする簡単な方法を提供します。
このデータは、キャリブレーション要件のない既製のカメラを使用して追加できます。
すべてのコードとデータを公開しています。

要約(オリジナル)

Deducing a 3D human pose from a single 2D image is inherently challenging because multiple 3D poses can correspond to the same 2D representation. 3D data can resolve this pose ambiguity, but it is expensive to record and requires an intricate setup that is often restricted to controlled lab environments. We propose a method that improves the performance of deep learning-based monocular 3D human pose estimation models by using multiview data only during training, but not during inference. We introduce a novel loss function, consistency loss, which operates on two synchronized views. This approach is simpler than previous models that require 3D ground truth or intrinsic and extrinsic camera parameters. Our consistency loss penalizes differences in two pose sequences after rigid alignment. We also demonstrate that our consistency loss substantially improves performance for fine-tuning without requiring 3D data. Furthermore, we show that using our consistency loss can yield state-of-the-art performance when training models from scratch in a semi-supervised manner. Our findings provide a simple way to capture new data, e.g in a new domain. This data can be added using off-the-shelf cameras with no calibration requirements. We make all our code and data publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google