GPT-4V as Traffic Assistant: An In-depth Look at Vision Language Model on Complex Traffic Events

要約

交通事故、特に交通事故の認識と理解は、インテリジェント交通システムとインテリジェント車両の分野において最も重要なテーマです。
この分野は、学術部門と産業界の両方から継続的に広範な焦点を集めてきました。
複雑な交通イベントを特定して理解することは、主に交通環境の複雑な性質、多様な観察視点、および事故の多面的な原因により、非常に困難です。
これらの要因は、効果的な解決策の開発を絶えず妨げてきました。
GPT-4V などの大規模ビジョン言語モデル (VLM) の出現により、この問題に対処するための革新的なアプローチが導入されました。
このペーパーでは、一連の代表的な交通事故ビデオを使用して GPT-4V の機能を調査し、これらの複雑な交通状況を理解するモデルの能力を詳しく掘り下げます。
私たちは、GPT-4V が特定の古典的な交通イベントにおいて顕著な認知能力、推論能力、意思決定能力を発揮していることを観察しています。
同時に、より複雑なシナリオでの理解を制限する GPT-4V の特定の制限も特定します。
これらの制限については、さらに調査して解決する価値があります。

要約(オリジナル)

The recognition and understanding of traffic incidents, particularly traffic accidents, is a topic of paramount importance in the realm of intelligent transportation systems and intelligent vehicles. This area has continually captured the extensive focus of both the academic and industrial sectors. Identifying and comprehending complex traffic events is highly challenging, primarily due to the intricate nature of traffic environments, diverse observational perspectives, and the multifaceted causes of accidents. These factors have persistently impeded the development of effective solutions. The advent of large vision-language models (VLMs) such as GPT-4V, has introduced innovative approaches to addressing this issue. In this paper, we explore the ability of GPT-4V with a set of representative traffic incident videos and delve into the model’s capacity of understanding these complex traffic situations. We observe that GPT-4V demonstrates remarkable cognitive, reasoning, and decision-making ability in certain classic traffic events. Concurrently, we also identify certain limitations of GPT-4V, which constrain its understanding in more intricate scenarios. These limitations merit further exploration and resolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google