SA-MLP: A Low-Power Multiplication-Free Deep Network for 3D Point Cloud Classification in Resource-Constrained Environments

要約

点群分類は、自動運転車、ロボット工学、環境モニタリングなどのアプリケーションで一般的に使用される LiDAR などの 3D センサーからのデータの処理と分析において重要な役割を果たします。
ただし、乗算演算に大きく依存する従来のニューラル ネットワークは、多くの場合、高い計算コストとエネルギー消費の点で課題に直面します。
この研究では、センサー システムにおける点群分類タスクの計算効率を向上させるために設計された、効率的な MLP ベースのアーキテクチャの新しいファミリーを紹介します。
ベースライン モデルである Mul-MLP は従来の乗算演算を利用しますが、Add-MLP と Shift-MLP は乗算をそれぞれ加算とシフト演算に置き換えます。
これらの代替品は、計算オーバーヘッドを大幅に削減できる、よりセンサーに優しい操作を活用するため、リソースに制約のあるセンサー プラットフォームに特に適しています。
パフォーマンスをさらに向上させるために、計算効率を最適化しながらネットワークの深さを維持し、シフト層と加算層を交互に行うハイブリッド アーキテクチャである SA-MLP を提案します。
ShiftAddNet など、シフトの重みを凍結することで層数を増やし、表現能力を制限する以前のアプローチとは異なり、SA-MLP は、個別の学習率とオプティマイザーを採用することで、シフト層と加算層の補完的な利点を最大限に活用します。
実験結果は、Add-MLP と Shift-MLP が Mul-MLP と比較して競争力のあるパフォーマンスを実現し、SA-MLP がベースラインを上回り、分類精度と計算効率の両方の点で最先端の MLP モデルに匹敵する結果を提供することを示しています。
。
この成果は、特に計算リソースが限られている環境において、リアルタイムの点群分類を必要とするセンサー駆動のアプリケーションに、有望でエネルギー効率の高いソリューションを提供します。

要約(オリジナル)

Point cloud classification plays a crucial role in the processing and analysis of data from 3D sensors such as LiDAR, which are commonly used in applications like autonomous vehicles, robotics, and environmental monitoring. However, traditional neural networks, which rely heavily on multiplication operations, often face challenges in terms of high computational costs and energy consumption. This study presents a novel family of efficient MLP-based architectures designed to improve the computational efficiency of point cloud classification tasks in sensor systems. The baseline model, Mul-MLP, utilizes conventional multiplication operations, while Add-MLP and Shift-MLP replace multiplications with addition and shift operations, respectively. These replacements leverage more sensor-friendly operations that can significantly reduce computational overhead, making them particularly suitable for resource-constrained sensor platforms. To further enhance performance, we propose SA-MLP, a hybrid architecture that alternates between shift and adder layers, preserving the network depth while optimizing computational efficiency. Unlike previous approaches such as ShiftAddNet, which increase the layer count and limit representational capacity by freezing shift weights, SA-MLP fully exploits the complementary advantages of shift and adder layers by employing distinct learning rates and optimizers. Experimental results show that Add-MLP and Shift-MLP achieve competitive performance compared to Mul-MLP, while SA-MLP surpasses the baseline, delivering results comparable to state-of-the-art MLP models in terms of both classification accuracy and computational efficiency. This work offers a promising, energy-efficient solution for sensor-driven applications requiring real-time point cloud classification, particularly in environments with limited computational resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google