MAELi — Masked Autoencoder for Large-Scale LiDAR Point Clouds

要約

大規模な LiDAR 点群の固有の、しかししばしば無視される特性を、効果的な自己教師あり表現学習のためにどのように活用できるかを示します。
この目的のために、最先端のオブジェクト検出器をトレーニングするための面倒な 3D アノテーションの量を大幅に削減する、非常にデータ効率の高い機能事前トレーニング バックボーンを設計します。
特に、再構成中に、エンコーダーとデコーダーの両方で LiDAR ポイント クラウドのスパース性を直感的に利用する Masked AutoEncoder (MAELi) を提案します。
これにより、より表現力豊かで便利な機能が得られ、自動運転のための 3D オブジェクト検出など、下流の認識タスクに直接適用できます。
新しい再構成方式で、MAELi は自由空間と閉塞空間を区別し、LiDAR 固有の球面投影をターゲットとする新しいマスキング戦略を活用します。
MAELi の可能性を実証するために、最も普及している 3D バックボーンの 1 つをエンドツーエンドで事前トレーニングし、いくつかの 3D オブジェクト検出アーキテクチャで完全に教師なしの事前トレーニング済み機能のメリットを示します。
そのような検出器を微調整するためのラベル付きフレームのほんの一部を考えると、大幅なパフォーマンスの向上が達成されます。
たとえば、$\sim800$ とラベル付けされたフレームのみを使用すると、MAELi 機能は、Waymo 車両で SECOND モデルを +10.09APH/LEVEL 2 改善します。

要約(オリジナル)

We show how the inherent, but often neglected, properties of large-scale LiDAR point clouds can be exploited for effective self-supervised representation learning. To this end, we design a highly data-efficient feature pre-training backbone that significantly reduces the amount of tedious 3D annotations to train state-of-the-art object detectors. In particular, we propose a Masked AutoEncoder (MAELi) that intuitively utilizes the sparsity of the LiDAR point clouds in both, the encoder and the decoder, during reconstruction. This results in more expressive and useful features, directly applicable to downstream perception tasks, such as 3D object detection for autonomous driving. In a novel reconstruction scheme, MAELi distinguishes between free and occluded space and leverages a new masking strategy which targets the LiDAR’s inherent spherical projection. To demonstrate the potential of MAELi, we pre-train one of the most widespread 3D backbones, in an end-to-end fashion and show the merit of our fully unsupervised pre-trained features on several 3D object detection architectures. Given only a tiny fraction of labeled frames to fine-tune such detectors, we achieve significant performance improvements. For example, with only $\sim800$ labeled frames, MAELi features improve a SECOND model by +10.09APH/LEVEL 2 on Waymo Vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google