Analyzing Deep Learning Representations of Point Clouds for Real-Time In-Vehicle LiDAR Perception

要約

LiDAR センサーは、車両の周囲の正確で高解像度の 3D 表現を提供するため、最新の自動運転車に不可欠な要素です。
ただし、複数の高解像度 LiDAR センサーからの増え続けるデータ量を利用することは、計算上困難です。
フレーム レート、点群のサイズ、およびセンサーの解像度が増加するにつれて、これらの点群のリアルタイム処理は、ますます正確になる車両環境の画像からセマンティクスを抽出する必要があります。
これらの点群で動作するディープ ニューラル ネットワークの実行時のパフォーマンスと精度を決定する要因の 1 つは、基礎となるデータ表現とその計算方法です。
この作業では、ニューラル ネットワークで使用される計算表現とそのパフォーマンス特性との関係を調べます。
この目的のために、3D 点群処理用の最新のディープ ニューラル ネットワークで使用される LiDAR 点群表現の新しい計算分類法を提案します。
この分類法を使用して、さまざまなアプローチのファミリーの構造化された分析を実行します。
これにより、計算効率、メモリ要件、およびセマンティック セグメンテーション パフォーマンスによって測定される表現能力の点で、一般的な利点と制限が明らかになります。
最後に、ニューラル ポイント クラウド処理方法の将来の開発に関する洞察とガイダンスを提供します。

要約(オリジナル)

LiDAR sensors are an integral part of modern autonomous vehicles as they provide an accurate, high-resolution 3D representation of the vehicle’s surroundings. However, it is computationally difficult to make use of the ever-increasing amounts of data from multiple high-resolution LiDAR sensors. As frame-rates, point cloud sizes and sensor resolutions increase, real-time processing of these point clouds must still extract semantics from this increasingly precise picture of the vehicle’s environment. One deciding factor of the run-time performance and accuracy of deep neural networks operating on these point clouds is the underlying data representation and the way it is computed. In this work, we examine the relationship between the computational representations used in neural networks and their performance characteristics. To this end, we propose a novel computational taxonomy of LiDAR point cloud representations used in modern deep neural networks for 3D point cloud processing. Using this taxonomy, we perform a structured analysis of different families of approaches. Thereby, we uncover common advantages and limitations in terms of computational efficiency, memory requirements, and representational capacity as measured by semantic segmentation performance. Finally, we provide some insights and guidance for future developments in neural point cloud processing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google