PointCA: Evaluating the Robustness of 3D Point Cloud Completion Models Against Adversarial Examples

要約

3D 認識とセグメンテーションの上流手順としての点群補完は、ナビゲーションやシーンの理解などの多くのタスクの重要な部分になっています。
さまざまな点群補完モデルがその強力な機能を実証していますが、ディープ ニューラル ネットワークに対して致命的な悪意があることが証明されている敵対的攻撃に対する堅牢性は不明のままです。
さらに、点群分類器に対する既存の攻撃アプローチは、出力形式と攻撃目的が異なるため、完成モデルに適用できません。
補完モデルの堅牢性を評価するために、3D 点群補完モデルに対する最初の敵対的攻撃である PointCA を提案します。
PointCA は、元の点群と高い類似性を維持しながら、まったく異なるセマンティック情報を持つ別のオブジェクトとして完成される敵対的な点群を生成できます。
具体的には、敵対的な例とターゲットポイントセットの間の表現の不一致を最小限に抑えて、ジオメトリ空間と特徴空間で敵対的な点群を共同で探索します。
さらに、よりステルスな攻撃を開始するために、近傍密度情報を革新的に使用して摂動制約を調整し、各ポイントのジオメトリを認識し、分布に適応した変更を行います。
さまざまな主要な点群補完ネットワークに対する広範な実験では、構造の面取り距離が 0.01 未満に保たれている場合、PointCA が 77.9% から 16.7% にパフォーマンスを低下させる可能性があることが示されています。
既存の補完モデルは敵対的な例に対して非常に脆弱であり、点群分類の最先端の防御は、不完全で不均一な点群データに適用すると部分的に無効になると結論付けています。

要約(オリジナル)

Point cloud completion, as the upstream procedure of 3D recognition and segmentation, has become an essential part of many tasks such as navigation and scene understanding. While various point cloud completion models have demonstrated their powerful capabilities, their robustness against adversarial attacks, which have been proven to be fatally malicious towards deep neural networks, remains unknown. In addition, existing attack approaches towards point cloud classifiers cannot be applied to the completion models due to different output forms and attack purposes. In order to evaluate the robustness of the completion models, we propose PointCA, the first adversarial attack against 3D point cloud completion models. PointCA can generate adversarial point clouds that maintain high similarity with the original ones, while being completed as another object with totally different semantic information. Specifically, we minimize the representation discrepancy between the adversarial example and the target point set to jointly explore the adversarial point clouds in the geometry space and the feature space. Furthermore, to launch a stealthier attack, we innovatively employ the neighbourhood density information to tailor the perturbation constraint, leading to geometry-aware and distribution-adaptive modifications for each point. Extensive experiments against different premier point cloud completion networks show that PointCA can cause a performance degradation from 77.9% to 16.7%, with the structure chamfer distance kept below 0.01. We conclude that existing completion models are severely vulnerable to adversarial examples, and state-of-the-art defenses for point cloud classification will be partially invalid when applied to incomplete and uneven point cloud data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google