Towards Robust and Unconstrained Full Range of Rotation Head Pose Estimation

要約

人の頭の姿勢を推定することは、多くのアプリケーションにとって重要な問題ですが、主に正面姿勢予測のサブタスクとして扱われています。
我々は、全範囲の向きの頭姿勢予測という困難なタスクに取り組むために、制約のないエンドツーエンドの頭姿勢推定のための新しい方法を提案します。
私たちは、グラウンド トゥルース データに回転行列形式を導入することであいまいな回転ラベルの問題に対処し、効率的で堅牢な直接回帰のための連続 6D 回転行列表現を提案します。
これにより、完全な回転の外観を効率的に学習し、現在の最先端技術の制限を克服することができます。
完全な頭姿勢回転データを提供する新しく蓄積されたトレーニング データと、安定した学習のための測地線損失アプローチを組み合わせて、広範囲の頭の向きを予測できる高度なモデルを設計します。
公開データセットに対する広範な評価により、私たちの手法が効率的かつ堅牢な方法で他の最先端の手法を大幅に上回り、その高度な予測範囲により応用分野の拡大が可能であることが実証されました。
私たちはトレーニングとテストのコードをトレーニング済みのモデルとともにオープンソース化しています: https://github.com/thohemp/6DRepNet360。

要約(オリジナル)

Estimating the head pose of a person is a crucial problem for numerous applications that is yet mainly addressed as a subtask of frontal pose prediction. We present a novel method for unconstrained end-to-end head pose estimation to tackle the challenging task of full range of orientation head pose prediction. We address the issue of ambiguous rotation labels by introducing the rotation matrix formalism for our ground truth data and propose a continuous 6D rotation matrix representation for efficient and robust direct regression. This allows to efficiently learn full rotation appearance and to overcome the limitations of the current state-of-the-art. Together with new accumulated training data that provides full head pose rotation data and a geodesic loss approach for stable learning, we design an advanced model that is able to predict an extended range of head orientations. An extensive evaluation on public datasets demonstrates that our method significantly outperforms other state-of-the-art methods in an efficient and robust manner, while its advanced prediction range allows the expansion of the application area. We open-source our training and testing code along with our trained models: https://github.com/thohemp/6DRepNet360.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google