Driver Attention Tracking and Analysis

要約

我々は、自動車のフロントガラスとダッシュボードに取り付けられた一対の通常のカメラを使用して、ドライバーの注視点を推定する新しい方法を提案します。
これは、深さが未知の 3D シーンを含む交通環境のダイナミクスのため、困難な問題です。
この問題は、ドライバーとカメラ システムの間の不安定な距離によってさらに複雑になります。
これらの課題に取り組むために、私たちは現場の画像とドライバーの顔の画像を同時に分析する新しい畳み込みネットワークを開発しました。
このネットワークには、ドライバーとカメラ システムの間の空間構成を表す埋め込みベクトルを計算できるカメラ キャリブレーション モジュールがあります。
この調整モジュールはネットワーク全体のパフォーマンスを向上させ、エンドツーエンドで共同トレーニングすることができます。
また、注視点の注釈を備えた大規模な運転データセットを導入することで、トレーニングと評価用の注釈付きデータの不足にも対処します。
これは、都市における実際の運転セッションの現場データセットであり、運転シーンとドライバーの顔と視線の同期画像が含まれています。
このデータセットの実験では、提案された方法がさまざまなベースライン方法よりも優れており、平均予測誤差が 29.69 ピクセルであり、シーン カメラの $1280{\times}720$ の解像度と比較して比較的小さいことが示されています。

要約(オリジナル)

We propose a novel method to estimate a driver’s points-of-gaze using a pair of ordinary cameras mounted on the windshield and dashboard of a car. This is a challenging problem due to the dynamics of traffic environments with 3D scenes of unknown depths. This problem is further complicated by the volatile distance between the driver and the camera system. To tackle these challenges, we develop a novel convolutional network that simultaneously analyzes the image of the scene and the image of the driver’s face. This network has a camera calibration module that can compute an embedding vector that represents the spatial configuration between the driver and the camera system. This calibration module improves the overall network’s performance, which can be jointly trained end to end. We also address the lack of annotated data for training and evaluation by introducing a large-scale driving dataset with point-of-gaze annotations. This is an in situ dataset of real driving sessions in an urban city, containing synchronized images of the driving scene as well as the face and gaze of the driver. Experiments on this dataset show that the proposed method outperforms various baseline methods, having the mean prediction error of 29.69 pixels, which is relatively small compared to the $1280{\times}720$ resolution of the scene camera.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google