Addressing Out-of-Label Hazard Detection in Dashcam Videos: Insights from the COOOL Challenge

要約

この論文では、ダッシュカム映像でのハザード分析のための新しいアプローチを提示し、危険に対するドライバーの反応の検出、危険物の識別、および記述キャプションの生成に対処します。
まず、速度と健全な異常検出を通じてドライバーの反応を検出する方法を紹介し、監視されていない学習技術を活用します。
ハザード検出のために、アンサンブル法を使用して組み合わされた弱い分類器として一連のヒューリスティックルールを使用します。
このアンサンブルアプローチは、自信過剰を軽減するためのプライバシーの差でさらに洗練され、ラベル付きデータがないにもかかわらず堅牢性を確保します。
最後に、ハザードキャプションに最先端のビジョン言語モデルを使用し、検出されたハザードの記述ラベルを生成します。
私たちの方法は、自律運転におけるラベル外の課題で最高のスコアを達成し、3つのタスクすべてにわたるその有効性を示しました。
ソースコードは、https://github.com/ffyyytt/coool_2025で公開されています。

要約(オリジナル)

This paper presents a novel approach for hazard analysis in dashcam footage, addressing the detection of driver reactions to hazards, the identification of hazardous objects, and the generation of descriptive captions. We first introduce a method for detecting driver reactions through speed and sound anomaly detection, leveraging unsupervised learning techniques. For hazard detection, we employ a set of heuristic rules as weak classifiers, which are combined using an ensemble method. This ensemble approach is further refined with differential privacy to mitigate overconfidence, ensuring robustness despite the lack of labeled data. Lastly, we use state-of-the-art vision-language models for hazard captioning, generating descriptive labels for the detected hazards. Our method achieved the highest scores in the Challenge on Out-of-Label in Autonomous Driving, demonstrating its effectiveness across all three tasks. Source codes are publicly available at https://github.com/ffyyytt/COOOL_2025.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google