RefAV: Towards Planning-Centric Scenario Mining

要約

自動運転車（AVS）は、通常の艦隊テスト中にHDマップにローカライズされたマルチモーダルデータのテラバイトを収集し、擬似ラベルテラバイトを収集します。
ただし、未発行の運転ログから興味深く安全性の高いシナリオを特定することは、依然として重要な課題です。
従来のシナリオマイニング技術はエラーが発生しやすく、時間がかかることはありますが、多くの場合、手作りの構造化されたクエリに依存しています。
この作業では、最近の視覚言語モデル（VLM）のレンズを介して時空間シナリオマイニングを再訪して、説明されたシナリオが駆動ログで発生するかどうかを検出し、もしそうなら、時間と空間の両方で正確にローカライズします。
この問題に対処するために、Argoverse 2センサーデータセットの1000の駆動ログから派生したモーション計画に関連する複雑なマルチエージェント相互作用を説明する10,000個の多様な自然言語クエリの大規模なデータセットであるRefavを紹介します。
いくつかの参照マルチオブジェクトトラッカーを評価し、ベースラインの経験的分析を提示します。
特に、既製のVLMSの素朴な再利用によりパフォーマンスが低下することがわかり、シナリオマイニングがユニークな課題をもたらすことを示唆しています。
コードとデータセットはhttps://github.com/cainand/refav/およびhttps://argoverse.github.io/user-guide/tasks/scenario_mining.htmlで入手できます。

要約(オリジナル)

Autonomous Vehicles (AVs) collect and pseudo-label terabytes of multi-modal data localized to HD maps during normal fleet testing. However, identifying interesting and safety-critical scenarios from uncurated driving logs remains a significant challenge. Traditional scenario mining techniques are error-prone and prohibitively time-consuming, often relying on hand-crafted structured queries. In this work, we revisit spatio-temporal scenario mining through the lens of recent vision-language models (VLMs) to detect whether a described scenario occurs in a driving log and, if so, precisely localize it in both time and space. To address this problem, we introduce RefAV, a large-scale dataset of 10,000 diverse natural language queries that describe complex multi-agent interactions relevant to motion planning derived from 1000 driving logs in the Argoverse 2 Sensor dataset. We evaluate several referential multi-object trackers and present an empirical analysis of our baselines. Notably, we find that naively repurposing off-the-shelf VLMs yields poor performance, suggesting that scenario mining presents unique challenges. Our code and dataset are available at https://github.com/CainanD/RefAV/ and https://argoverse.github.io/user-guide/tasks/scenario_mining.html

arxiv情報

提供元, 利用サービス

arxiv.jp, Google