Location-guided Head Pose Estimation for Fisheye Image

要約

魚眼レンズまたは超広角レンズを備えたカメラは、透視投影ではモデル化できない広い視野をカバーします。
画像の周辺領域にある深刻な魚眼 \textcolor{blue}{lens} の歪みは、歪みのない画像でトレーニングされた \textcolor{blue}{既存の} 頭部姿勢推定モデルのパフォーマンスの低下につながります。
この論文では、画像内の頭の位置の知識を使用して魚眼歪みの悪影響を軽減する、頭姿勢推定の新しいアプローチを紹介します。
頭の姿勢と頭の位置のマルチタスク学習を使用して頭の姿勢を推定するためのエンドツーエンドの畳み込みニューラル ネットワークを開発します。
私たちが提案するネットワークは、補正やキャリブレーションの操作を行わずに、魚眼画像から直接頭部の姿勢を推定します。
また、実験用に、3 つの人気のある頭姿勢推定データセット、BIWI、300W-LP、AFLW2000 の \textcolor{blue}{a}fisheye-\textcolor{blue}{distorted} バージョンも作成しました。
実験結果は、私たちのネットワークが他の最先端の1段階および2段階方法と比較して、頭部姿勢推定の精度を著しく向上させることを示しています。

要約(オリジナル)

Camera with a fisheye or ultra-wide lens covers a wide field of view that cannot be modeled by the perspective projection. Serious fisheye \textcolor{blue}{lens} distortion in the peripheral region of the image leads to degraded performance of the \textcolor{blue}{existing} head pose estimation models trained on undistorted images. This paper presents a new approach for head pose estimation that uses the knowledge of head location in the image to reduce the negative effect of fisheye distortion. We develop an end-to-end convolutional neural network to estimate the head pose with the multi-task learning of head pose and head location. Our proposed network estimates the head pose directly from the fisheye image without the operation of rectification or calibration. We also created \textcolor{blue}{a} fisheye-\textcolor{blue}{distorted} version of the three popular head pose estimation datasets, BIWI, 300W-LP, and AFLW2000 for our experiments. Experiments results show that our network remarkably improves the accuracy of head pose estimation compared with other state-of-the-art one-stage and two-stage methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google