Regression-Oriented Knowledge Distillation for Lightweight Ship Orientation Angle Prediction with Optical Remote Sensing Images

要約

光学リモートセンシング画像を使用した船舶方位角予測 (SOAP) は重要な画像処理タスクであり、多くの場合、正確な予測を行うためにディープ畳み込みニューラル ネットワーク (CNN) に依存します。
この論文では、予測精度を損なうことなく、SOAP モデルのモデル サイズと計算コストを削減するための新しいフレームワークを提案します。
まず、Mobile-SOAP と呼ばれる新しい SOAP モデルが MobileNetV2 に基づいて設計され、最先端の予測精度を実現します。
Mobile-SOAP の畳み込みブロックをそれぞれ 4 つの小規模ネットワークに置き換えることによって、4 つの小さな SOAP モデルも作成されます。
次に、Mobile-SOAP から 4 つの軽量モデルに知識を転送するために、新しい機能ベースのガイダンス損失と最適化された合成サンプルベースの知識転送メカニズムで構成される SOAP-KD と呼ばれる新しい知識蒸留 (KD) フレームワークを提案します。
最後に、FGSC-23 データセットに関する広範な実験により、既存のモデルに対する Mobile-SOAP の優位性が確認され、特別に設計された 4 つの小型モデルの予測パフォーマンスの向上における SOAP-KD の有効性も実証されました。
特に、SOAP-KD を使用することにより、ShuffleNetV2x1.0 ベースのモデルのテスト平均絶対誤差は Mobile-SOAP よりわずか 8% 高いだけですが、パラメーターと積和演算 (MAC) の数はそれぞれ 61.6% です。
60.8%減少しました。

要約(オリジナル)

Ship orientation angle prediction (SOAP) with optical remote sensing images is an important image processing task, which often relies on deep convolutional neural networks (CNNs) to make accurate predictions. This paper proposes a novel framework to reduce the model sizes and computational costs of SOAP models without harming prediction accuracy. First, a new SOAP model called Mobile-SOAP is designed based on MobileNetV2, achieving state-of-the-art prediction accuracy. Four tiny SOAP models are also created by replacing the convolutional blocks in Mobile-SOAP with four small-scale networks, respectively. Then, to transfer knowledge from Mobile-SOAP to four lightweight models, we propose a novel knowledge distillation (KD) framework termed SOAP-KD consisting of a novel feature-based guidance loss and an optimized synthetic samples-based knowledge transfer mechanism. Lastly, extensive experiments on the FGSC-23 dataset confirm the superiority of Mobile-SOAP over existing models and also demonstrate the effectiveness of SOAP-KD in improving the prediction performance of four specially designed tiny models. Notably, by using SOAP-KD, the test mean absolute error of the ShuffleNetV2x1.0-based model is only 8% higher than that of Mobile-SOAP, but its number of parameters and multiply-accumulate operations (MACs) are respectively 61.6% and 60.8% less.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google