AVD2: Accident Video Diffusion for Accident Video Description

要約

交通事故は、自律運転の複雑な課題を提示し、しばしば正確なシステムの解釈と応答を妨げる予測不可能なシナリオを特徴としています。それでも、事故の原因を解明し、事故シナリオに固有のトレーニングデータの不足のために予防策を提案することには不足しています。
この作業では、AVD2（事故ビデオの説明のための事故ビデオ拡散）を紹介します。これは、事故シーンの理解を高める新しいフレームワークです。
詳細な自然言語の説明と推論に沿った事故ビデオを生成し、その結果、貢献したEMM-AU（強化されたマルチモーダル事故ビデオ理解）データセットが貢献しました。
経験的な結果は、EMM-AUデータセットの統合が自動化されたメトリックと人間の評価の両方にわたって最先端のパフォーマンスを確立し、事故分析と予防の領域を著しく進めていることを明らかにしています。
プロジェクトリソースは、https：//an-answer-tree.github.ioで入手できます

要約(オリジナル)

Traffic accidents present complex challenges for autonomous driving, often featuring unpredictable scenarios that hinder accurate system interpretation and responses.Nonetheless, prevailing methodologies fall short in elucidating the causes of accidents and proposing preventive measures due to the paucity of training data specific to accident scenarios.In this work, we introduce AVD2 (Accident Video Diffusion for Accident Video Description), a novel framework that enhances accident scene understanding by generating accident videos that aligned with detailed natural language descriptions and reasoning, resulting in the contributed EMM-AU (Enhanced Multi-Modal Accident Video Understanding) dataset. Empirical results reveal that the integration of the EMM-AU dataset establishes state-of-the-art performance across both automated metrics and human evaluations, markedly advancing the domains of accident analysis and prevention. Project resources are available at https://an-answer-tree.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google