Low-Rank Adaption on Transformer-based Oriented Object Detector for Satellite Onboard Processing of Remote Sensing Images

要約

衛星に搭載されたディープラーニング モデルにより、リモート センシング画像のリアルタイム解釈が可能になり、地上へのデータ送信の必要性が減り、通信リソースが節約されます。
衛星の数と観測頻度が増加するにつれて、衛星に搭載されたリアルタイム画像解釈の需要が高まり、この技術の重要性と発展が増大し​​ていることが浮き彫りになっています。
ただし、無線衛星通信におけるアップリンク帯域幅の制限により、宇宙搭載物体検出モデルの衛星に展開されたモデルの広範なパラメータを更新することは困難です。
この問題に対処するために、この論文では、低ランク適応 (LoRA) モジュールを使用したパラメータ効率の高い微調整技術に基づく方法を提案します。
これには、低ランクの行列パラメーターをトレーニングし、乗算と合計を通じて元のモデルの重み行列と統合し、それによって最小限の重み更新で新しいデータ分布に適応するようにモデル パラメーターを微調整することが含まれます。
提案された方法は、指向性オブジェクト検出アルゴリズム アーキテクチャのパラメーター更新戦略におけるパラメーター効率の高い微調整と完全な微調整を組み合わせたものです。
この戦略により、最小限のパラメーター更新で完全な微調整効果に近いモデルのパフォーマンスの向上が可能になります。
さらに、LoRA 行列の最適なランク値を選択するために、低ランク近似が実行されます。
広範な実験により、提案された方法の有効性が検証されています。
モデルの合計パラメーターの 12.4$\%$ のみを微調整および更新することで、モデルを完全に微調整した場合の 97$\%$ ～ 100$\%$ のパフォーマンスを達成できます。
さらに、トレーニング可能なパラメーターの数が減少することで、モデルのトレーニングの反復が高速化され、指向性オブジェクト検出モデルの一般化と堅牢性が強化されます。
ソース コードは \url{https://github.com/fudanxu/LoRA-Det} から入手できます。

要約(オリジナル)

Deep learning models in satellite onboard enable real-time interpretation of remote sensing images, reducing the need for data transmission to the ground and conserving communication resources. As satellite numbers and observation frequencies increase, the demand for satellite onboard real-time image interpretation grows, highlighting the expanding importance and development of this technology. However, updating the extensive parameters of models deployed on the satellites for spaceborne object detection model is challenging due to the limitations of uplink bandwidth in wireless satellite communications. To address this issue, this paper proposes a method based on parameter-efficient fine-tuning technology with low-rank adaptation (LoRA) module. It involves training low-rank matrix parameters and integrating them with the original model’s weight matrix through multiplication and summation, thereby fine-tuning the model parameters to adapt to new data distributions with minimal weight updates. The proposed method combines parameter-efficient fine-tuning with full fine-tuning in the parameter update strategy of the oriented object detection algorithm architecture. This strategy enables model performance improvements close to full fine-tuning effects with minimal parameter updates. In addition, low rank approximation is conducted to pick an optimal rank value for LoRA matrices. Extensive experiments verify the effectiveness of the proposed method. By fine-tuning and updating only 12.4$\%$ of the model’s total parameters, it is able to achieve 97$\%$ to 100$\%$ of the performance of full fine-tuning models. Additionally, the reduced number of trainable parameters accelerates model training iterations and enhances the generalization and robustness of the oriented object detection model. The source code is available at: \url{https://github.com/fudanxu/LoRA-Det}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google