3D Adversarial Augmentations for Robust Out-of-Domain Predictions

要約

現実世界のトレーニング データセットは、基礎となるデータ分布のロングテールを適切にサンプリングできないため、コーナーケースや稀なドメイン外サンプルによって、最先端のモデルのパフォーマンスが大幅に妨げられる可能性があります。
この問題は、非標準オブジェクトのポイントが間違ったクラスに確実に関連付けられる可能性がある 3D セマンティック セグメンテーションなどの高密度タスクではさらに深刻になります。
この作業では、ドメイン外データへの一般化の改善に焦点を当てます。
これは、敵対的な例を使用してトレーニング セットを強化することで実現します。
まず、敵対的な方法でオブジェクトを変形する一連のベクトルを学習します。
敵対的な例が既存のデータ分布から離れすぎないように、一連の制約を通じてそのもっともらしさを維持し、センサー認識と形状の滑らかさを確保します。
次に、モデルのトレーニング時に、学習したサンプルに依存しないベクトルを利用可能なオブジェクトに適用することで、敵対的拡張を実行します。
私たちは、3D オブジェクト検出については KITTI、Waymo、および CrashD からのデータ、および 3D セマンティック セグメンテーションについては SemanticKITTI、Waymo、および nuScenes からのデータについて、さまざまなシナリオにわたって広範な実験を実施しています。
標準的な単一データセットでのトレーニングにもかかわらず、私たちのアプローチは、ドメイン外データに対する 3D オブジェクト検出と 3D セマンティック セグメンテーション手法の両方の堅牢性と一般化を大幅に向上させます。

要約(オリジナル)

Since real-world training datasets cannot properly sample the long tail of the underlying data distribution, corner cases and rare out-of-domain samples can severely hinder the performance of state-of-the-art models. This problem becomes even more severe for dense tasks, such as 3D semantic segmentation, where points of non-standard objects can be confidently associated to the wrong class. In this work, we focus on improving the generalization to out-of-domain data. We achieve this by augmenting the training set with adversarial examples. First, we learn a set of vectors that deform the objects in an adversarial fashion. To prevent the adversarial examples from being too far from the existing data distribution, we preserve their plausibility through a series of constraints, ensuring sensor-awareness and shapes smoothness. Then, we perform adversarial augmentation by applying the learned sample-independent vectors to the available objects when training a model. We conduct extensive experiments across a variety of scenarios on data from KITTI, Waymo, and CrashD for 3D object detection, and on data from SemanticKITTI, Waymo, and nuScenes for 3D semantic segmentation. Despite training on a standard single dataset, our approach substantially improves the robustness and generalization of both 3D object detection and 3D semantic segmentation methods to out-of-domain data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google