HAVANA: Hard negAtiVe sAmples aware self-supervised coNtrastive leArning for Airborne laser scanning point clouds semantic segmentation

要約

ディープ ニューラル ネットワーク (DNN) ベースのポイント クラウド セマンティック セグメンテーションは、大規模なラベル付き航空レーザー ポイント クラウド データセットで大きな成果を上げています。
ただし、このような大規模な点群に注釈を付けるには時間がかかります。
Airborne Laser Scanning (ALS) 点群の密度のばらつきと空間的な不均一性により、DNN は汎化機能を欠いており、ある地域でトレーニングされた DNN が他の地域で直接利用された場合にパフォーマンスが低下するため、見込みのないセマンティック セグメンテーションにつながります。
ただし、自己教師あり学習 (SSL) は、ラベルのないサンプルを使用して DNN モデルを事前トレーニングした後、非常に限られたラベルを含む微調整されたダウンストリーム タスクを行うことで、この問題を解決する有望な方法です。
したがって、この作業では、セマンティック セグメンテーション用にモデルを事前トレーニングするための、ハード ネガティブ サンプルに対応した自己教師あり対照学習法を提案します。
点群の従来の対比学習では、学習プロセスから派生した埋め込みフィーチャ間の距離のみに依存することで、最も困難な負のサンプルを選択し、同じクラスからいくつかの負のサンプルを展開して、対比学習の有効性を低下させる可能性があります。
したがって、K 平均法クラスタリングに基づいて AbsPAN (Absolute Positive And Negative samples) 戦略を設計し、考えられる偽陰性サンプルをフィルタリングします。
2 つの典型的な ALS ベンチマーク データセットでの実験は、提案された方法が事前トレーニングなしの教師ありトレーニング スキームよりも魅力的であることを示しています。
特に、ラベルが非常に不適切な場合 (ISPRS トレーニング セットの 10%)、提案された HAVANA メソッドによって得られた結果は、完全なトレーニング セットを使用した教師ありパラダイム パフォーマンスの 94% を超えています。

要約(オリジナル)

Deep Neural Network (DNN) based point cloud semantic segmentation has presented significant achievements on large-scale labeled aerial laser point cloud datasets. However, annotating such large-scaled point clouds is time-consuming. Due to density variations and spatial heterogeneity of the Airborne Laser Scanning (ALS) point clouds, DNNs lack generalization capability and thus lead to unpromising semantic segmentation, as the DNN trained in one region underperform when directly utilized in other regions. However, Self-Supervised Learning (SSL) is a promising way to solve this problem by pre-training a DNN model utilizing unlabeled samples followed by a fine-tuned downstream task involving very limited labels. Hence, this work proposes a hard-negative sample aware self-supervised contrastive learning method to pre-train the model for semantic segmentation. The traditional contrastive learning for point clouds selects the hardest negative samples by solely relying on the distance between the embedded features derived from the learning process, potentially evolving some negative samples from the same classes to reduce the contrastive learning effectiveness. Therefore, we design an AbsPAN (Absolute Positive And Negative samples) strategy based on k-means clustering to filter the possible false-negative samples. Experiments on two typical ALS benchmark datasets demonstrate that the proposed method is more appealing than supervised training schemes without pre-training. Especially when the labels are severely inadequate (10% of the ISPRS training set), the results obtained by the proposed HAVANA method still exceed 94% of the supervised paradigm performance with full training set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google