FedRSU: Federated Learning for Scene Flow Estimation on Roadside Units

要約

路側機 (RSU) は、Vehicle-to-Everything (V2X) 通信を通じて自動運転車の安全性と堅牢性を大幅に向上させることができます。
現在、単一の RSU の使用は主にリアルタイム推論と V2X コラボレーションに焦点を当てており、RSU センサーによって収集された高品質データの潜在的な価値は無視されています。
多数の RSU からの膨大な量のデータを統合すると、モデル トレーニング用の豊富なデータ ソースが提供されます。
ただし、グラウンド トゥルースの注釈が存在しないことと、膨大な量のデータを送信することの難しさが、この隠された価値を最大限に活用する上で避けられない 2 つの障壁になります。
このペーパーでは、自己教師ありシーン フロー推定のための革新的なフェデレーテッド ラーニング フレームワークである FedRSU を紹介します。
FedRSU では、反復的自己監視トレーニング パラダイムを提示します。各 RSU について、すべてのタイムスタンプでのポイントのシーン フロー予測は、その後の将来のマルチモダリティ観測によって監視できます。
FedRSU のもう 1 つの重要なコンポーネントはフェデレーション ラーニングです。フェデレーテッド ラーニングでは、トレーニング データをローカルかつプライベートに保ちながら、複数のデバイスが共同で ML モデルをトレーニングします。
反復型自己教師あり学習パラダイムの力を利用して、FL は RSU からの活用されていない無数のデータを活用できます。
FedRSU フレームワークを検証するために、大規模なマルチモダリティ データセット RSU-SF を構築します。
データセットは 17 の RSU クライアントで構成され、さまざまなシナリオ、モダリティ、センサー設定をカバーします。
RSU-SF に基づいて、FedRSU が ITS におけるモデルのパフォーマンスを大幅に向上させ、多様な FL シナリオの下で包括的なベンチマークを提供できることを示します。
私たちの知る限り、私たちはフロリダ州コミュニティに初の実世界 LiDAR カメラ マルチモーダル データセットとベンチマークを提供しています。

要約(オリジナル)

Roadside unit (RSU) can significantly improve the safety and robustness of autonomous vehicles through Vehicle-to-Everything (V2X) communication. Currently, the usage of a single RSU mainly focuses on real-time inference and V2X collaboration, while neglecting the potential value of the high-quality data collected by RSU sensors. Integrating the vast amounts of data from numerous RSUs can provide a rich source of data for model training. However, the absence of ground truth annotations and the difficulty of transmitting enormous volumes of data are two inevitable barriers to fully exploiting this hidden value. In this paper, we introduce FedRSU, an innovative federated learning framework for self-supervised scene flow estimation. In FedRSU, we present a recurrent self-supervision training paradigm, where for each RSU, the scene flow prediction of points at every timestamp can be supervised by its subsequent future multi-modality observation. Another key component of FedRSU is federated learning, where multiple devices collaboratively train an ML model while keeping the training data local and private. With the power of the recurrent self-supervised learning paradigm, FL is able to leverage innumerable underutilized data from RSU. To verify the FedRSU framework, we construct a large-scale multi-modality dataset RSU-SF. The dataset consists of 17 RSU clients, covering various scenarios, modalities, and sensor settings. Based on RSU-SF, we show that FedRSU can greatly improve model performance in ITS and provide a comprehensive benchmark under diverse FL scenarios. To the best of our knowledge, we provide the first real-world LiDAR-camera multi-modal dataset and benchmark for the FL community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google