Analyzing Deep Learning Representations of Point Clouds for Real-Time In-Vehicle LiDAR Perception

要約

LiDAR センサーは、車両周囲の正確な高解像度 3D 表現を提供するため、最新の自律走行車に不可欠な部分です。
ただし、複数の高解像度 LiDAR センサーからの増え続けるデータ量を利用することは計算的に困難です。
フレームレート、点群のサイズ、センサーの解像度が増加しても、これらの点群のリアルタイム処理では、ますます正確になる車両環境の画像からセマンティクスを抽出する必要があります。
これらの点群上で動作するディープ ニューラル ネットワークの実行時のパフォーマンスと精度を決定する 1 つの要素は、基礎となるデータ表現とその計算方法です。
この研究では、ニューラル ネットワークで使用される計算表現とそのパフォーマンス特性の関係を調べます。
この目的を達成するために、我々は、3D 点群処理用の最新のディープ ニューラル ネットワークで使用される LiDAR 点群表現の新しい計算分類法を提案します。
この分類法を使用して、さまざまなアプローチのファミリーの構造化分析を実行します。
これにより、セマンティック セグメンテーションのパフォーマンスによって測定される、計算効率、メモリ要件、表現能力に関する共通の利点と制限が明らかになります。
最後に、神経点群処理方法の将来の開発のためのいくつかの洞察とガイダンスを提供します。

要約(オリジナル)

LiDAR sensors are an integral part of modern autonomous vehicles as they provide an accurate, high-resolution 3D representation of the vehicle’s surroundings. However, it is computationally difficult to make use of the ever-increasing amounts of data from multiple high-resolution LiDAR sensors. As frame-rates, point cloud sizes and sensor resolutions increase, real-time processing of these point clouds must still extract semantics from this increasingly precise picture of the vehicle’s environment. One deciding factor of the run-time performance and accuracy of deep neural networks operating on these point clouds is the underlying data representation and the way it is computed. In this work, we examine the relationship between the computational representations used in neural networks and their performance characteristics. To this end, we propose a novel computational taxonomy of LiDAR point cloud representations used in modern deep neural networks for 3D point cloud processing. Using this taxonomy, we perform a structured analysis of different families of approaches. Thereby, we uncover common advantages and limitations in terms of computational efficiency, memory requirements, and representational capacity as measured by semantic segmentation performance. Finally, we provide some insights and guidance for future developments in neural point cloud processing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google