AccidentSim: Generating Physically Realistic Vehicle Collision Videos from Real-World Accident Reports

要約

自律運転研究のための現実世界の車両事故ビデオを収集することは、その希少性と複雑さのために挑戦的です。
既存のドライビングビデオ生成方法は視覚的に現実的なビデオを生成する可能性がありますが、衝突後の正確な軌跡を生成する機能がないため、物理的に現実的なシミュレーションを提供できないことがよくあります。
この論文では、実際の車両事故レポートで利用可能な物理的手がかりと文脈情報を抽出および利用することにより、物理的に現実的な車両衝突ビデオを生成する新しいフレームワークであるAccidentsimを紹介します。
具体的には、Accidentimは信頼できる物理シミュレーターを活用して、事故報告書の物理的およびコンテキスト情報から衝突後の車両の軌跡を再現し、車両衝突軌道データセットを構築します。
このデータセットは、言語モデルを微調整するために使用され、ユーザープロンプトに応答し、ユーザーの説明に基づいてさまざまな運転シナリオにわたって物理的に一貫した衝突後軌道を予測できるようにします。
最後に、ニューラル放射輝度フィールド（NERF）を使用して高品質の背景をレンダリングし、物理的に現実的な軌跡を示す前景車とマージして車両の衝突ビデオを生成します。
実験結果は、Accidentsimによって作成されたビデオが視覚的および物理的な真正性の両方で優れていることを示しています。

要約(オリジナル)

Collecting real-world vehicle accident videos for autonomous driving research is challenging due to their rarity and complexity. While existing driving video generation methods may produce visually realistic videos, they often fail to deliver physically realistic simulations because they lack the capability to generate accurate post-collision trajectories. In this paper, we introduce AccidentSim, a novel framework that generates physically realistic vehicle collision videos by extracting and utilizing the physical clues and contextual information available in real-world vehicle accident reports. Specifically, AccidentSim leverages a reliable physical simulator to replicate post-collision vehicle trajectories from the physical and contextual information in the accident reports and to build a vehicle collision trajectory dataset. This dataset is then used to fine-tune a language model, enabling it to respond to user prompts and predict physically consistent post-collision trajectories across various driving scenarios based on user descriptions. Finally, we employ Neural Radiance Fields (NeRF) to render high-quality backgrounds, merging them with the foreground vehicles that exhibit physically realistic trajectories to generate vehicle collision videos. Experimental results demonstrate that the videos produced by AccidentSim excel in both visual and physical authenticity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google