Towards Long-Range 3D Object Detection for Autonomous Vehicles

要約

長距離での 3D 物体検出は、自動運転車の安全性と効率性を確保するために重要であり、遠方からの物体、障害物、潜在的な危険を正確に認識して反応できるようになります。
しかし、現在の最先端の LiDAR ベースの方法のほとんどは、長距離でのスパース性により範囲が制限され、自車両に近い点と遠い点の間にドメイン ギャップの一種が生成されます。
関連するもう 1 つの問題は、遠く離れたオブジェクトのラベルの不均衡であり、これにより長距離でのディープ ニューラル ネットワークのパフォーマンスが阻害されます。
上記の制限に対処するために、現在の LiDAR ベースの 3D 検出器の長距離性能を向上させる 2 つの方法を調査します。
まず、レンジ エキスパートと呼ばれる 2 つの 3D 検出ネットワークを組み合わせます。1 つは近距離から中距離のオブジェクトに特化し、もう 1 つは長距離 3D 検出に特化します。
ラベルが乏しい状況下で長距離で検出器をトレーニングするために、ラベル付きポイントの自車両からの距離に応じて損失をさらに重み付けします。
次に、すぐに利用できる画像ベースの深度補完アルゴリズムであるマルチモーダル仮想ポイント (MVP) を使用して生成された仮想ポイントで LiDAR スキャンを強化します。
長距離 Argoverse2 (AV2) データセットでの実験では、MVP が単純な実装を維持しながら長距離パフォーマンスの向上に効果的であることが示されています。
一方、レンジの専門家は、画像ベースのセグメンテーション ネットワークや完璧なカメラと LiDAR のキャリブレーションへの依存を回避する、計算効率が高く、よりシンプルな代替案を提供します。

要約(オリジナル)

3D object detection at long range is crucial for ensuring the safety and efficiency of self driving vehicles, allowing them to accurately perceive and react to objects, obstacles, and potential hazards from a distance. But most current state of the art LiDAR based methods are range limited due to sparsity at long range, which generates a form of domain gap between points closer to and farther away from the ego vehicle. Another related problem is the label imbalance for faraway objects, which inhibits the performance of Deep Neural Networks at long range. To address the above limitations, we investigate two ways to improve long range performance of current LiDAR based 3D detectors. First, we combine two 3D detection networks, referred to as range experts, one specializing at near to mid range objects, and one at long range 3D detection. To train a detector at long range under a scarce label regime, we further weigh the loss according to the labelled point’s distance from ego vehicle. Second, we augment LiDAR scans with virtual points generated using Multimodal Virtual Points (MVP), a readily available image-based depth completion algorithm. Our experiments on the long range Argoverse2 (AV2) dataset indicate that MVP is more effective in improving long range performance, while maintaining a straightforward implementation. On the other hand, the range experts offer a computationally efficient and simpler alternative, avoiding dependency on image-based segmentation networks and perfect camera-LiDAR calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google