LangCoop: Collaborative Driving with Language

要約

マルチエージェントコラボレーションは、複数の接続されたエージェント間の情報共有を可能にすることにより、自律運転システムの安全性、信頼性、およびモビリティを高めるための大きな可能性を秘めています。
ただし、既存のマルチエージェント通信アプローチは、帯域幅の需要、エージェントの不均一性、情報の損失など、既存の通信メディアの制限によって妨げられています。
これらの課題に対処するために、自然言語をエージェント間コミュニケーションのためのコンパクトでありながら表現力豊かな媒体として活用する共同自律運転の新しいパラダイムであるLangcoopを紹介します。
Langcoopには、2つの重要な革新があります。混合モデルモジュラーチェーンオブサベート（M $^3 $ cot）の構造化されたゼロショット視覚推論のためのM $^3 $ COT）と、情報を簡潔にパッケージ化するための自然言語情報パッケージ（Langpack）。
Carlaシミュレーションで実施された広範な実験を通じて、Langcoopは、画像ベースの通信と比較して、通信帯域幅の顕著な96％の減少（メッセージあたり<2kb）を達成し、閉ループ評価で競合する運転性能を維持することを実証します。

要約(オリジナル)

Multi-agent collaboration holds great promise for enhancing the safety, reliability, and mobility of autonomous driving systems by enabling information sharing among multiple connected agents. However, existing multi-agent communication approaches are hindered by limitations of existing communication media, including high bandwidth demands, agent heterogeneity, and information loss. To address these challenges, we introduce LangCoop, a new paradigm for collaborative autonomous driving that leverages natural language as a compact yet expressive medium for inter-agent communication. LangCoop features two key innovations: Mixture Model Modular Chain-of-thought (M$^3$CoT) for structured zero-shot vision-language reasoning and Natural Language Information Packaging (LangPack) for efficiently packaging information into concise, language-based messages. Through extensive experiments conducted in the CARLA simulations, we demonstrate that LangCoop achieves a remarkable 96\% reduction in communication bandwidth (< 2KB per message) compared to image-based communication, while maintaining competitive driving performance in the closed-loop evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google