FedBEVT: Federated Learning Bird’s Eye View Perception Transformer in Road Traffic Systems

要約

自動運転の分野では、鳥瞰図 (BEV) の認識がますます重要になってきています。
マルチビュー カメラ データを使用して、道路環境の認識を BEV の視点に直接投影する変圧器モデルを学習します。
ただし、変圧器モデルのトレーニングには大量のデータが必要になることが多く、道路交通用のカメラ データはプライベートであることが多いため、通常は共有されません。
フェデレーテッド ラーニングは、クライアントがデータを交換せずにモデル パラメータを共有してモデルをトレーニングできるソリューションを提供します。
このペーパーでは、BEV 認識のための統合トランス学習アプローチである FedBEVT を紹介します。
FedBEVT における 2 つの一般的なデータの異質性の問題、(i) 多様なセンサーの姿勢、(ii) 知覚システム内のセンサーの数の変化、に対処するために、カメラに注意を向けたパーソナライゼーション (FedCaP) を使用したフェデレーテッド ラーニングと適応型マルチという 2 つのアプローチを提案します。
それぞれカメラ マスキング (AMCM)。
現実世界の設定でメソッドを評価するために、4 つの典型的なフェデレーション ユース ケースで構成されるデータセットを作成します。
私たちの調査結果は、FedBEVT が 4 つのユースケースすべてでベースラインのアプローチより優れていることを示唆しており、自動運転における BEV の知覚を改善するための私たちのアプローチの可能性を示しています。

要約(オリジナル)

Bird’s eye view (BEV) perception is becoming increasingly important in the field of autonomous driving. It uses multi-view camera data to learn a transformer model that directly projects the perception of the road environment onto the BEV perspective. However, training a transformer model often requires a large amount of data, and as camera data for road traffic are often private, they are typically not shared. Federated learning offers a solution that enables clients to collaborate and train models without exchanging data but model parameters. In this paper, we introduce FedBEVT, a federated transformer learning approach for BEV perception. In order to address two common data heterogeneity issues in FedBEVT: (i) diverse sensor poses, and (ii) varying sensor numbers in perception systems, we propose two approaches — Federated Learning with Camera-Attentive Personalization (FedCaP) and Adaptive Multi-Camera Masking (AMCM), respectively. To evaluate our method in real-world settings, we create a dataset consisting of four typical federated use cases. Our findings suggest that FedBEVT outperforms the baseline approaches in all four use cases, demonstrating the potential of our approach for improving BEV perception in autonomous driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google