Human Detection from 4D Radar Data in Low-Visibility Field Conditions

要約

自動運転技術は、公道や鉱山などの産業現場での利用が進んでいます。
歩行者、車両、その他の障害物を検出することは不可欠ですが、現場の悪条件はカメラやライダーなどの従来のセンサーのパフォーマンスに悪影響を及ぼします。
一方、レーダーは、塵、煙、水霧、霧などの影響が少ない、有望な手段です。
特に、最新の 4D 画像レーダーは、範囲、垂直角、水平角、およびドップラー速度次元にわたるターゲット応答を提供します。
私たちは、セマンティック セグメンテーションにこの 4D レーダー モダリティを活用する CNN アーキテクチャである TMVA4D を提案します。
CNN は、仰角、方位角、距離、ドップラー速度の次元を含む 4D レーダー データの一連の 2D 投影に基づいて、背景クラスと人物クラスを区別するようにトレーニングされています。
また、車載 4D レーダーを使用して産業環境で収集されたデータから構成される新しいデータセットを編集するプロセスの概要を説明し、基準熱画像からグラウンド トゥルース ラベルがどのように生成されたかについて説明します。
このデータセットで TMVA4D を使用すると、2 つのクラスの背景と人物に基づいて評価された、mIoU スコア 78.2% と mDice スコア 86.1% を達成しました。

要約(オリジナル)

Autonomous driving technology is increasingly being used on public roads and in industrial settings such as mines. While it is essential to detect pedestrians, vehicles, or other obstacles, adverse field conditions negatively affect the performance of classical sensors such as cameras or lidars. Radar, on the other hand, is a promising modality that is less affected by, e.g., dust, smoke, water mist or fog. In particular, modern 4D imaging radars provide target responses across the range, vertical angle, horizontal angle and Doppler velocity dimensions. We propose TMVA4D, a CNN architecture that leverages this 4D radar modality for semantic segmentation. The CNN is trained to distinguish between the background and person classes based on a series of 2D projections of the 4D radar data that include the elevation, azimuth, range, and Doppler velocity dimensions. We also outline the process of compiling a novel dataset consisting of data collected in industrial settings with a car-mounted 4D radar and describe how the ground-truth labels were generated from reference thermal images. Using TMVA4D on this dataset, we achieve an mIoU score of 78.2% and an mDice score of 86.1%, evaluated on the two classes background and person

arxiv情報

提供元, 利用サービス

arxiv.jp, Google