Datasets, Models, and Algorithms for Multi-Sensor, Multi-agent Autonomy Using AVstack

要約

自律性の確保における最近の進歩により、自動運転車 (AV) の実現が近づいています。
マルチセンサー、マルチエージェント (MSMA) システムによって AV の安全性とセキュリティが大幅に向上する可能性があるという強力な証拠にもかかわらず、代表的な MSMA 構成を開発およびテストするための統一されたフレームワークは存在しません。
この研究では、最近リリースされた自律性プラットフォームである AVstack を使用して、MSMA 自律性におけるデータセット、モデル、アルゴリズムの新しいフレームワークを提案しています。
単一のデータセットをリリースする代わりに、グラウンド トゥルースでラベル付けされた MSMA 認識データを無制限に生成できるデータセット生成パイプラインをデプロイします。
データはカメラ (セマンティック セグメンテーション、RGB、深度)、LiDAR、レーダーから取得され、地上車両と初めてインフラストラクチャ プラットフォームから取得されます。
ラベル付き MSMA データを生成するパイプライン処理と AVstack のサードパーティ統合により、車両およびインフラストラクチャ アプリケーションのマルチセンサー認識のトレーニングを可能にするモデル トレーニング フレームワークが定義されます。
フレームワークと事前トレーニングされたモデルをオープンソースで提供します。
最後に、データセットとモデルのトレーニング パイプラインは、洞察力に富んだマルチエージェントのケーススタディで最高潮に達します。
これまでの研究では特定の自己中心的なマルチエージェント設計が使用されていましたが、私たちのフレームワークでは協調自律空間をノイズの多い時間相関センサーのネットワークとして考慮しています。
この環境内で、ネットワーク トポロジとデータ融合パイプラインがエージェントの状況認識に及ぼす影響を定量化します。

要約(オリジナル)

Recent advancements in assured autonomy have brought autonomous vehicles (AVs) closer to fruition. Despite strong evidence that multi-sensor, multi-agent (MSMA) systems can yield substantial improvements in the safety and security of AVs, there exists no unified framework for developing and testing representative MSMA configurations. Using the recently-released autonomy platform, AVstack, this work proposes a new framework for datasets, models, and algorithms in MSMA autonomy. Instead of releasing a single dataset, we deploy a dataset generation pipeline capable of generating unlimited volumes of ground-truth-labeled MSMA perception data. The data derive from cameras (semantic segmentation, RGB, depth), LiDAR, and radar, and are sourced from ground-vehicles and, for the first time, infrastructure platforms. Pipelining generating labeled MSMA data along with AVstack’s third-party integrations defines a model training framework that allows training multi-sensor perception for vehicle and infrastructure applications. We provide the framework and pretrained models open-source. Finally, the dataset and model training pipelines culminate in insightful multi-agent case studies. While previous works used specific ego-centric multi-agent designs, our framework considers the collaborative autonomy space as a network of noisy, time-correlated sensors. Within this environment, we quantify the impact of the network topology and data fusion pipeline on an agent’s situational awareness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google