Smaller3d: Smaller Models for 3D Semantic Segmentation Using Minkowski Engine and Knowledge Distillation Methods

要約

タイトル：Minkowski Engineと知識蒸留手法を用いた3Dセマンティック・セグメンテーション用の小さいモデル「Smaller3d」

要約：
– 3Dの最適化技術には、メッシュ、テクスチャ、およびボクセルを使用するポイントクラウドベースのアプローチがある。
– 3D分野は最も計算が必要な分野の一つであり、従来のモデルは大きさ、複雑さ、および計算量によりまだ十分な性能を発揮していない。
– 本論文では、知識蒸留技術を3D深層学習の疎テンソルに特に適用し、サイズを縮小しながら性能を維持する手法を提案する。
– 様々な損失関数、特に状態-of-the-artモデルに対する各種損失の組み合わせを分析し、スキャンネットV2の標準データセットで実験を行った。
– 最新の空間・時間コンバージョンベースモデルにおいて、4倍小さいモデルで2.6％mIoUの差を、16倍小さいモデルで約8％の差を実現した。

要約(オリジナル)

There are various optimization techniques in the realm of 3D, including point cloud-based approaches that use mesh, texture, and voxels which optimize how you store, and how do calculate in 3D. These techniques employ methods such as feed-forward networks, 3D convolutions, graph neural networks, transformers, and sparse tensors. However, the field of 3D is one of the most computationally expensive fields, and these methods have yet to achieve their full potential due to their large capacity, complexity, and computation limits. This paper proposes the application of knowledge distillation techniques, especially for sparse tensors in 3D deep learning, to reduce model sizes while maintaining performance. We analyze and purpose different loss functions, including standard methods and combinations of various losses, to simulate the performance of state-of-the-art models of different Sparse Convolutional NNs. Our experiments are done on the standard ScanNet V2 dataset, and we achieved around 2.6\% mIoU difference with a 4 times smaller model and around 8\% with a 16 times smaller model on the latest state-of-the-art spacio-temporal convents based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI