Neuromorphic Seatbelt State Detection for In-Cabin Monitoring with Event Cameras

要約

ニューロモーフィック ビジョン センサー、つまりイベント カメラは、指定されたレートで画像をキャプチャしないという点で従来のカメラとは異なります。
代わりに、各ピクセルでの局所的な明るさの変化を非同期的に記録します。
その結果、イベント カメラは特定のシーンの変化のみを記録し、非常に高い時間解像度、高いダイナミック レンジ、および低い電力要件で記録します。
最近の研究では、これらの特性により、イベント カメラがドライバー監視システム (DMS) の非常に実用的なセンサーとなり、高速の目の動きや瞬きの追跡が可能になることが実証されました。
この研究は、シートベルト状態検出を含むイベントベースの DMS 技術を拡張するための概念実証を提供します。
イベント シミュレータを使用して、自動車乗員の 108,691 個の合成ニューロモーフィック フレームのデータセットが近赤外線 (NIR) データセットから生成され、リカレント畳み込みニューラル ネットワークに基づくシートベルト状態検出アルゴリズムのトレーニング セット、検証セット、およびテスト セットに分割されました。
(CNN)。
さらに、より小規模な実際のイベント データが収集され、テスト用に予約されました。
バイナリ分類タスクでは、シミュレーションされたテスト セットと実際のテスト セットで、固定/非固定フレームがそれぞれ 0.989 と 0.944 の F1 スコアで識別されました。
問題がシートベルトの着脱動作の分類にも拡張された場合、それぞれ 0.964 と 0.846 の F1 スコアが達成されました。

要約(オリジナル)

Neuromorphic vision sensors, or event cameras, differ from conventional cameras in that they do not capture images at a specified rate. Instead, they asynchronously log local brightness changes at each pixel. As a result, event cameras only record changes in a given scene, and do so with very high temporal resolution, high dynamic range, and low power requirements. Recent research has demonstrated how these characteristics make event cameras extremely practical sensors in driver monitoring systems (DMS), enabling the tracking of high-speed eye motion and blinks. This research provides a proof of concept to expand event-based DMS techniques to include seatbelt state detection. Using an event simulator, a dataset of 108,691 synthetic neuromorphic frames of car occupants was generated from a near-infrared (NIR) dataset, and split into training, validation, and test sets for a seatbelt state detection algorithm based on a recurrent convolutional neural network (CNN). In addition, a smaller set of real event data was collected and reserved for testing. In a binary classification task, the fastened/unfastened frames were identified with an F1 score of 0.989 and 0.944 on the simulated and real test sets respectively. When the problem extended to also classify the action of fastening/unfastening the seatbelt, respective F1 scores of 0.964 and 0.846 were achieved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google