Hidden Gems: 4D Radar Scene Flow Learning Using Cross-Modal Supervision

要約

この作業は、クロスモーダル学習による 4D レーダーベースのシーン フロー推定への新しいアプローチを提案します。
私たちのアプローチは、最新の自動運転車におけるコロケーション センシングの冗長性によって動機付けられています。
このような冗長性は、レーダー シーン フロー推定にさまざまな形式の監視キューを暗示的に提供します。
具体的には、特定されたクロスモーダル学習問題のマルチタスク モデル アーキテクチャを導入し、損失関数を提案して、効果的なモデル トレーニングのために複数のクロスモーダル制約を使用してシーン フロー推定を日和見的に行います。
広範な実験により、私たちの方法の最先端のパフォーマンスが示され、より正確な4Dレーダーシーンフローを推測するためのクロスモーダル教師あり学習の有効性が実証されています。
また、モーション セグメンテーションとエゴ モーション推定の 2 つのサブタスクへの有用性も示します。
ソース コードは https://github.com/Toytiny/CMFlow で入手できます。

要約(オリジナル)

This work proposes a novel approach to 4D radar-based scene flow estimation via cross-modal learning. Our approach is motivated by the co-located sensing redundancy in modern autonomous vehicles. Such redundancy implicitly provides various forms of supervision cues to the radar scene flow estimation. Specifically, we introduce a multi-task model architecture for the identified cross-modal learning problem and propose loss functions to opportunistically engage scene flow estimation using multiple cross-modal constraints for effective model training. Extensive experiments show the state-of-the-art performance of our method and demonstrate the effectiveness of cross-modal supervised learning to infer more accurate 4D radar scene flow. We also show its usefulness to two subtasks – motion segmentation and ego-motion estimation. Our source code will be available on https://github.com/Toytiny/CMFlow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google