AIDE: A Vision-Driven Multi-View, Multi-Modal, Multi-Tasking Dataset for Assistive Driving Perception

要約

過去 10 年間、ドライバーの注意力散漫が重大な交通事故の大きな原因となっています。
視覚主導のドライバー監視システムの開発が進んでいるにもかかわらず、包括的な知覚データセットの欠如により、交通安全と交通セキュリティが制限されています。
この論文では、自然主義的なシナリオで車両の内側と外側の両方のコンテキスト情報を考慮する支援運転認識データセット (AIDE) を紹介します。
AIDE は、ドライバーとシーンのマルチビュー設定、顔、体、姿勢、ジェスチャーのマルチモーダル注釈、運転を理解するための 4 つの実用的なタスク設計を含む 3 つの特徴的な特性を通じて、総合的なドライバーの監視を容易にします。
AIDE を徹底的に調査するために、広範な手法を使用して 3 種類のベースライン フレームワークに関する実験的なベンチマークを提供します。
さらに、効果的なマルチストリーム/モーダル表現の学習に新たな洞察を与えるために、2 つの融合戦略が導入されています。
また、AIDE とベンチマークの主要コンポーネントの重要性と合理性を体系的に調査します。
プロジェクトのリンクは https://github.com/ydk122024/AIDE です。

要約(オリジナル)

Driver distraction has become a significant cause of severe traffic accidents over the past decade. Despite the growing development of vision-driven driver monitoring systems, the lack of comprehensive perception datasets restricts road safety and traffic security. In this paper, we present an AssIstive Driving pErception dataset (AIDE) that considers context information both inside and outside the vehicle in naturalistic scenarios. AIDE facilitates holistic driver monitoring through three distinctive characteristics, including multi-view settings of driver and scene, multi-modal annotations of face, body, posture, and gesture, and four pragmatic task designs for driving understanding. To thoroughly explore AIDE, we provide experimental benchmarks on three kinds of baseline frameworks via extensive methods. Moreover, two fusion strategies are introduced to give new insights into learning effective multi-stream/modal representations. We also systematically investigate the importance and rationality of the key components in AIDE and benchmarks. The project link is https://github.com/ydk122024/AIDE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google