Feature Adversarial Distillation for Point Cloud Classification

要約

点群の不規則で順序のないジオメトリ構造のため、従来の知識抽出テクノロジを点群タスクに直接使用すると、多くの情報が失われます。
この論文では、知識伝達中の損失を削減するために、点群蒸留における一般的な敵対的損失関数である特徴敵対的蒸留 (FAD) 法を提案します。
特徴抽出段階では、教師が抽出した特徴が識別器として使用され、学習段階では生徒が継続的に新しい特徴を生成します。
生徒の特徴は、教師からのフィードバックを攻撃し、生徒が知識を十分に学習したかどうかを判断するスコアを取得することで取得されます。
ModelNet40 および ScanObjectNN データセットでの標準点群分類の実験では、私たちの方法は、競争力のあるパフォーマンスを維持しながら、40 倍のモデル圧縮での蒸留における知識伝達の情報損失を削減しました。

要約(オリジナル)

Due to the point cloud’s irregular and unordered geometry structure, conventional knowledge distillation technology lost a lot of information when directly used on point cloud tasks. In this paper, we propose Feature Adversarial Distillation (FAD) method, a generic adversarial loss function in point cloud distillation, to reduce loss during knowledge transfer. In the feature extraction stage, the features extracted by the teacher are used as the discriminator, and the students continuously generate new features in the training stage. The feature of the student is obtained by attacking the feedback from the teacher and getting a score to judge whether the student has learned the knowledge well or not. In experiments on standard point cloud classification on ModelNet40 and ScanObjectNN datasets, our method reduced the information loss of knowledge transfer in distillation in 40x model compression while maintaining competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google