Text3DAug — Prompted Instance Augmentation for LiDAR Perception

要約

都市シナリオの LiDAR データは、異質な特性や固有のクラスの不均衡など、特有の課題を引き起こします。
したがって、深層学習手法を適用するには大規模なデータセットが必要です。
インスタンスの拡張は、データセットの多様性を高める効率的な方法として登場しました。
ただし、現在の方法では、時間のかかる 3D モデルのキュレーションや、コストのかかる手動のデータ注釈が必要です。
これらの制限を克服するために、私たちは、拡張などの生成モデルを活用した新しいアプローチである Text3DAug を提案します。
Text3DAug はラベル付きデータに依存せず、テキストからインスタンスと注釈を生成するこの種の最初の製品です。
これにより、完全に自動化されたパイプラインが可能になり、実際のアプリケーションでの手動作業の必要がなくなります。
さらに、Text3DAug はセンサーに依存せず、使用される LiDAR センサーに関係なく適用できます。
LiDAR のセグメンテーション、検出、新しいクラスの発見に関する包括的な実験分析により、Text3DAug が既存の方法を補完するか、またはスタンドアロンの方法として効果的であり、確立された方法と同等以上のパフォーマンスを発揮しながら、その特有の欠点を克服できることが実証されました。
コードは公開されています。

要約(オリジナル)

LiDAR data of urban scenarios poses unique challenges, such as heterogeneous characteristics and inherent class imbalance. Therefore, large-scale datasets are necessary to apply deep learning methods. Instance augmentation has emerged as an efficient method to increase dataset diversity. However, current methods require the time-consuming curation of 3D models or costly manual data annotation. To overcome these limitations, we propose Text3DAug, a novel approach leveraging generative models for instance augmentation. Text3DAug does not depend on labeled data and is the first of its kind to generate instances and annotations from text. This allows for a fully automated pipeline, eliminating the need for manual effort in practical applications. Additionally, Text3DAug is sensor agnostic and can be applied regardless of the LiDAR sensor used. Comprehensive experimental analysis on LiDAR segmentation, detection and novel class discovery demonstrates that Text3DAug is effective in supplementing existing methods or as a standalone method, performing on par or better than established methods, however while overcoming their specific drawbacks. The code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google