Rethinking Top Probability from Multi-view for Distracted Driver Behaviour Localization

要約

自然主義的な運転アクションの位置特定タスクは、現実世界の運転シナリオ中にキャプチャされたビデオ データから人間の行動や行動を認識し、理解することを目的としています。
これまでの研究では、認識モデルとそれに続く確率ベースの後処理を適用することにより、優れたアクション位置特定パフォーマンスが得られることが示されています。
それにもかかわらず、認識モデルによって提供される確率には、後処理に課題を引き起こす混乱した情報が含まれることがよくあります。
この研究では、自己教師学習に基づいた行動認識モデルを採用して、注意散漫な活動を検出し、潜在的な行動の確率を与えます。
その後、制約アンサンブル戦略によりマルチカメラ ビューを利用して、堅牢な予測が提供されます。
最後に、気を散らす行動や行動の時間的境界を正確に特定するための条件付き後処理操作を導入します。
テスト セット A2 で実験した結果、私たちの手法は 2024 AI City Challenge のトラック 3 の公開リーダーボードで 6 位を獲得しました。

要約(オリジナル)

Naturalistic driving action localization task aims to recognize and comprehend human behaviors and actions from video data captured during real-world driving scenarios. Previous studies have shown great action localization performance by applying a recognition model followed by probability-based post-processing. Nevertheless, the probabilities provided by the recognition model frequently contain confused information causing challenge for post-processing. In this work, we adopt an action recognition model based on self-supervise learning to detect distracted activities and give potential action probabilities. Subsequently, a constraint ensemble strategy takes advantages of multi-camera views to provide robust predictions. Finally, we introduce a conditional post-processing operation to locate distracted behaviours and action temporal boundaries precisely. Experimenting on test set A2, our method obtains the sixth position on the public leaderboard of track 3 of the 2024 AI City Challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google