EgoSpeed-Net: Forecasting Speed-Control in Driver Behavior from Egocentric Video Data

要約

速度制御予測は、ドライバーの行動分析における困難な問題であり、ブレーキや加速などの車両速度を制御する際のドライバーの将来の行動を予測することを目的としています。
このホワイト ペーパーでは、自己中心的なビデオ データのみを使用してこの課題に対処しようとします。これは、第三者ビュー データまたは GPS などの追加の車両センサー データ、またはその両方を使用する文献の大部分とは対照的です。
この目的のために、新しいグラフ畳み込みネットワーク (GCN) ベースのネットワーク、すなわち EgoSpeed-Net を提案します。
私たちは、時間の経過に伴う物体の位置の変化が、将来の速度変化を予測するための非常に有用な手がかりを提供できるという事実に動機付けられています.
最初に、各クラスのオブジェクト間の空間関係をフレームごとにモデル化し、完全に接続されたグラフを使用して、その上で GCN を特徴抽出に適用します。
次に、長短期記憶ネットワークを利用して、時間の経過に伴うクラスごとのそのような特徴をベクトルに融合し、そのようなベクトルを連結し、多層パーセプトロン分類器を使用して速度制御アクションを予測します。
本田技研のドライビングデータセットで広範な実験を行い、EgoSpeed-Net の優れたパフォーマンスを実証します。

要約(オリジナル)

Speed-control forecasting, a challenging problem in driver behavior analysis, aims to predict the future actions of a driver in controlling vehicle speed such as braking or acceleration. In this paper, we try to address this challenge solely using egocentric video data, in contrast to the majority of works in the literature using either third-person view data or extra vehicle sensor data such as GPS, or both. To this end, we propose a novel graph convolutional network (GCN) based network, namely, EgoSpeed-Net. We are motivated by the fact that the position changes of objects over time can provide us very useful clues for forecasting the speed change in future. We first model the spatial relations among the objects from each class, frame by frame, using fully-connected graphs, on top of which GCNs are applied for feature extraction. Then we utilize a long short-term memory network to fuse such features per class over time into a vector, concatenate such vectors and forecast a speed-control action using a multilayer perceptron classifier. We conduct extensive experiments on the Honda Research Institute Driving Dataset and demonstrate the superior performance of EgoSpeed-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google