Multi-modality action recognition based on dual feature shift in vehicle cabin monitoring

要約

ドライバー行動認識 (DAR) は、車室内監視システムにおいて重要です。
実際のアプリケーションでは、車両のキャビンにさまざまなモダリティを備えたカメラが装備されるのが一般的です。
しかし、車室内での DAR タスクのためのマルチモダリティ融合戦略はほとんど研究されていません。
本稿では、DFSと呼ばれる、二重特徴シフトに基づく、新規かつ効率的なマルチモダリティドライバー行動認識方法を提案します。
DFS は、まずモダリティ機能の相互作用を実行することで、モダリティ全体の補完的な機能を統合します。
一方、DFS は、時間フレーム間で特徴をシフトすることにより、単一モダリティ内での隣接特徴の伝播を実現します。
共通のパターンを学習し、モデルの効率を向上させるために、DFS は複数のモダリティ間で特徴抽出ステージを共有します。
Drive\&Act データセットに対する提案された DFS モデルの有効性を検証するために、広範な実験が実行されました。
結果は、DFS が優れたパフォーマンスを達成し、マルチモダリティのドライバーの行動認識の効率を向上させることを示しています。

要約(オリジナル)

Driver Action Recognition (DAR) is crucial in vehicle cabin monitoring systems. In real-world applications, it is common for vehicle cabins to be equipped with cameras featuring different modalities. However, multi-modality fusion strategies for the DAR task within car cabins have rarely been studied. In this paper, we propose a novel yet efficient multi-modality driver action recognition method based on dual feature shift, named DFS. DFS first integrates complementary features across modalities by performing modality feature interaction. Meanwhile, DFS achieves the neighbour feature propagation within single modalities, by feature shifting among temporal frames. To learn common patterns and improve model efficiency, DFS shares feature extracting stages among multiple modalities. Extensive experiments have been carried out to verify the effectiveness of the proposed DFS model on the Drive\&Act dataset. The results demonstrate that DFS achieves good performance and improves the efficiency of multi-modality driver action recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google