Multiagent Multitraversal Multimodal Self-Driving: Open MARS Dataset

要約

大規模なデータセットは、AI ベースの自動運転車研究の最近の進歩を促進しています。
ただし、これらのデータセットは通常、単一の車両による特定の場所の 1 回の通過から収集されており、マルチエージェントの対話や同じ場所の繰り返しの移動は欠如しています。
このような情報は、自動運転車の認識、予測、計画能力の革新的な強化につながる可能性があります。
このギャップを埋めるために、自動運転会社 May Mobility と協力して、MultiAgent、multitraveRSal、およびマルチモーダル自動運転車の研究を可能にするシナリオを統合する MARS データセットを紹介します。
より具体的には、MARS は、特定の地理的エリア内を走行する自律走行車のフリートによって収集されます。
各車両には独自のルートがあり、近くの場所に異なる車両が表示される場合があります。
各車両にはLiDARとサラウンドビューRGBカメラが装備されています。
私たちは MARS の 2 つのサブセットを厳選しています。1 つは同じ場所に同時に存在する複数の車両による共同運転を容易にし、もう 1 つは複数の車両による同じ場所の非同期移動による記憶の遡及を可能にします。
場所認識や神経再構成の実験を行っています。
さらに重要なことは、MARS は、マルチトラバーサル 3D 再構成、マルチエージェント知覚、教師なし物体発見などの新しい研究の機会と課題を導入していることです。
データとコードは https://ai4ce.github.io/MARS/ でご覧いただけます。

要約(オリジナル)

Large-scale datasets have fueled recent advancements in AI-based autonomous vehicle research. However, these datasets are usually collected from a single vehicle’s one-time pass of a certain location, lacking multiagent interactions or repeated traversals of the same place. Such information could lead to transformative enhancements in autonomous vehicles’ perception, prediction, and planning capabilities. To bridge this gap, in collaboration with the self-driving company May Mobility, we present the MARS dataset which unifies scenarios that enable MultiAgent, multitraveRSal, and multimodal autonomous vehicle research. More specifically, MARS is collected with a fleet of autonomous vehicles driving within a certain geographical area. Each vehicle has its own route and different vehicles may appear at nearby locations. Each vehicle is equipped with a LiDAR and surround-view RGB cameras. We curate two subsets in MARS: one facilitates collaborative driving with multiple vehicles simultaneously present at the same location, and the other enables memory retrospection through asynchronous traversals of the same location by multiple vehicles. We conduct experiments in place recognition and neural reconstruction. More importantly, MARS introduces new research opportunities and challenges such as multitraversal 3D reconstruction, multiagent perception, and unsupervised object discovery. Our data and codes can be found at https://ai4ce.github.io/MARS/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google