AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust Autonomous Driving

要約

車載センサー (ライダー、レーダー、カメラなど) による物体検出は、自動運転 (AD) で重要な役割を果たし、これらのセンサーはモダリティで相互に補完します。
クラウドセンシングはこれらのセンサー (膨大な量) を利用してより包括的な知識を引き出す可能性がありますが、\textit{federated learning} (FL) は、この可能性に到達するために必要なツールのようです: 自動運転車 (AV) が機械学習モデルをトレーニングできるようにします。
生の感覚データを明示的に共有することなく。
ただし、マルチモーダル センサーは、分散型 AV 全体でさまざまなデータの不均一性 (ラベルの量の偏りやさまざまなモダリティなど) を導入し、効果的な FL に重大な課題をもたらします。
この目的のために、AutoFed を異質性を認識する FL フレームワークとして提示し、AV 上のマルチモーダルな感覚データを十分に活用して、堅牢な AD を有効にします。
具体的には、ラベルのないオブジェクトを誤って背景として扱うことを避けるために、疑似ラベルを活用する新しいモデルを最初に提案します。
また、(特定の AV の) 不足しているデータ モダリティを利用可能なもので埋めるためのオートエンコーダ ベースのデータ代入方法も提案します。
不均一性をさらに調整するために、クライアントモデル間の類似性を利用してトレーニングの安定性と収束率の両方を改善するクライアント選択メカニズムを最終的に提示します。
ベンチマーク データセットに関する私たちの実験では、AutoFed が精度と再現率の両方で現状のアプローチよりも大幅に改善され、悪天候に対する強力な堅牢性が実証されていることが確認されました。

要約(オリジナル)

Object detection with on-board sensors (e.g., lidar, radar, and camera) play a crucial role in autonomous driving (AD), and these sensors complement each other in modalities. While crowdsensing may potentially exploit these sensors (of huge quantity) to derive more comprehensive knowledge, \textit{federated learning} (FL) appears to be the necessary tool to reach this potential: it enables autonomous vehicles (AVs) to train machine learning models without explicitly sharing raw sensory data. However, the multimodal sensors introduce various data heterogeneity across distributed AVs (e.g., label quantity skews and varied modalities), posing critical challenges to effective FL. To this end, we present AutoFed as a heterogeneity-aware FL framework to fully exploit multimodal sensory data on AVs and thus enable robust AD. Specifically, we first propose a novel model leveraging pseudo-labeling to avoid mistakenly treating unlabeled objects as the background. We also propose an autoencoder-based data imputation method to fill missing data modality (of certain AVs) with the available ones. To further reconcile the heterogeneity, we finally present a client selection mechanism exploiting the similarities among client models to improve both training stability and convergence rate. Our experiments on benchmark dataset confirm that AutoFed substantially improves over status quo approaches in both precision and recall, while demonstrating strong robustness to adverse weather conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google