Exploiting Local Features and Range Images for Small Data Real-Time Point Cloud Semantic Segmentation

要約

点群のセマンティック セグメンテーションは、自動運転やロボット工学における環境を理解するために不可欠なタスクです。
最近の範囲ベースの作業はリアルタイムの効率を実現しますが、ポイントベースおよびボクセルベースの方法はより良い結果を生み出しますが、高い計算の複雑さの影響を受けます。
さらに、非常に複雑な深層学習モデルは、多くの場合、小さなデータセットから効率的に学習するのには適していません。
その一般化機能は、アーキテクチャ設計ではなく、豊富なデータによって簡単に推進できます。
この論文では、3 次元表現からの情報を利用して局所的な特徴を適切に捕捉するとともに、追加情報を組み込んで高速計算を容易にするために距離画像表現を導入します。
GPU ベースの KDTree により、簡単な操作で投影を迅速に構築、クエリ、強化できます。
SemanticKITTI および nuScenes データセットに関する広範な実験は、モデルのトレーニングにデータセットの 1 つのシーケンスのみが使用される「小規模データ」セットアップでの変更の利点を示していますが、1 つを除くすべてのシーケンスが使用される従来のセットアップでも同様です。
トレーニングに使用されます。
私たちのモデルの縮小バージョンは、フルスケールの最先端モデルに対して強力な競争力を示すだけでなく、リアルタイムで動作するため、現実世界のケースアプリケーションで実行可能な選択肢となることを示します。
私たちのメソッドのコードは https://github.com/Bender97/WaffleAndRange で入手できます。

要約(オリジナル)

Semantic segmentation of point clouds is an essential task for understanding the environment in autonomous driving and robotics. Recent range-based works achieve real-time efficiency, while point- and voxel-based methods produce better results but are affected by high computational complexity. Moreover, highly complex deep learning models are often not suited to efficiently learn from small datasets. Their generalization capabilities can easily be driven by the abundance of data rather than the architecture design. In this paper, we harness the information from the three-dimensional representation to proficiently capture local features, while introducing the range image representation to incorporate additional information and facilitate fast computation. A GPU-based KDTree allows for rapid building, querying, and enhancing projection with straightforward operations. Extensive experiments on SemanticKITTI and nuScenes datasets demonstrate the benefits of our modification in a “small data” setup, in which only one sequence of the dataset is used to train the models, but also in the conventional setup, where all sequences except one are used for training. We show that a reduced version of our model not only demonstrates strong competitiveness against full-scale state-of-the-art models but also operates in real-time, making it a viable choice for real-world case applications. The code of our method is available at https://github.com/Bender97/WaffleAndRange.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google