SageMix: Saliency-Guided Mixup for Point Clouds

要約

データ拡張は、ディープ ラーニング モデルの一般化能力を向上させるための鍵です。
ミックスアップは、オーバーフィッティングやデータ不足の問題を軽減するのに効果的であることが証明されている、シンプルで広く使用されているデータ拡張手法です。
また、画像領域における顕著性を意識した Mixup に関する最近の研究では、識別可能な部分を保存することが一般化のパフォーマンスを向上させるのに有益であることを示しています。
ただし、これらの Mixup ベースのデータ拡張は、3D ビジョン、特に点群では十分に調査されていません。
この論文では、顕著な局所構造を維持するための点群の顕著性ガイド付き Mixup である SageMix を提案します。
具体的には、2 つの点群から顕著な領域を抽出し、滑らかに結合して 1 つの連続した形状にします。
再重み付けされた顕著性スコアによる単純な順次サンプリングにより、SageMix は顕著領域の局所構造を保持します。
広範な実験により、提案された方法が、さまざまなベンチマーク点群データセットで既存の Mixup 方法よりも一貫して優れていることが実証されています。
PointNet++ を使用すると、3D ウェアハウス データセット (MN40) と ScanObjectNN の標準的なトレーニングよりも、それぞれ 2.6% と 4.0% の精度向上を実現できます。
一般化のパフォーマンスに加えて、SageMix はロバスト性と不確実性のキャリブレーションを改善します。
さらに、パーツセグメンテーションや標準的な2D画像分類などのさまざまなタスクに私たちの方法を適用すると、私たちの方法は競争力のあるパフォーマンスを実現します。

要約(オリジナル)

Data augmentation is key to improving the generalization ability of deep learning models. Mixup is a simple and widely-used data augmentation technique that has proven effective in alleviating the problems of overfitting and data scarcity. Also, recent studies of saliency-aware Mixup in the image domain show that preserving discriminative parts is beneficial to improving the generalization performance. However, these Mixup-based data augmentations are underexplored in 3D vision, especially in point clouds. In this paper, we propose SageMix, a saliency-guided Mixup for point clouds to preserve salient local structures. Specifically, we extract salient regions from two point clouds and smoothly combine them into one continuous shape. With a simple sequential sampling by re-weighted saliency scores, SageMix preserves the local structure of salient regions. Extensive experiments demonstrate that the proposed method consistently outperforms existing Mixup methods in various benchmark point cloud datasets. With PointNet++, our method achieves an accuracy gain of 2.6% and 4.0% over standard training in 3D Warehouse dataset (MN40) and ScanObjectNN, respectively. In addition to generalization performance, SageMix improves robustness and uncertainty calibration. Moreover, when adopting our method to various tasks including part segmentation and standard 2D image classification, our method achieves competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google