Satellite Federated Fine-Tuning for Foundation Models in Space Computing Power Networks

要約

人工知能（AI）および低地球軌道（LEO）衛星の進歩により、さまざまな下流タスクに大きなリモートセンシング基礎モデルの適用が促進されました。
ただし、地上での微調整のためのこれらのモデルの直接ダウンロードは、プライバシーの懸念と限られた帯域幅によって妨げられています。
Satellite Federated Learning（FL）は、モデルを微調整して直接オンボード衛星を微調整し、データダウンロードなしでモデルの更新を集約することにより、ソリューションを提供します。
それにもかかわらず、大規模な基礎モデルの場合、衛星の計算能力は、従来の衛星FLフレームワークで効果的なオンボード微調整をサポートするには不十分です。
これらの課題に対処するために、私たちは衛星地面の協力的なフェデレーション微調整フレームワークを提案します。
フレームワークの鍵は、モデルコンポーネントを合理的に分解して割り当てて、不十分なオンボード計算機能を軽減する方法にあります。
微調整中、衛星は、前方の伝播や背中の伝播のために地上局またはその他の衛星と中間結果を交換します。これは、断続的な衛星通信の特別な通信トポロジー、衛星地下通信ウィンドウの短い持続時間、不安定な根元間関係（ISLS）などの特別な通信トポロジをもたらします。
トランスミッションの遅延を減らすために、通信リソースとコンピューティングリソースの両方を統合するテーラード通信戦略をさらに導入します。
具体的には、並行して軌道上のコミュニケーション戦略、トポロジ認識の衛星地域通信戦略、および宇宙通信コストを削減するための潜在最近の軌道間コミュニケーション戦略を提案します。
シミュレーション結果は、約33％の改善により、トレーニング時間の大幅な短縮を示しています。

要約(オリジナル)

Advancements in artificial intelligence (AI) and low-earth orbit (LEO) satellites have promoted the application of large remote sensing foundation models for various downstream tasks. However, direct downloading of these models for fine-tuning on the ground is impeded by privacy concerns and limited bandwidth. Satellite federated learning (FL) offers a solution by enabling model fine-tuning directly on-board satellites and aggregating model updates without data downloading. Nevertheless, for large foundation models, the computational capacity of satellites is insufficient to support effective on-board fine-tuning in traditional satellite FL frameworks. To address these challenges, we propose a satellite-ground collaborative federated fine-tuning framework. The key of the framework lies in how to reasonably decompose and allocate model components to alleviate insufficient on-board computation capabilities. During fine-tuning, satellites exchange intermediate results with ground stations or other satellites for forward propagation and back propagation, which brings communication challenges due to the special communication topology of space transmission networks, such as intermittent satellite-ground communication, short duration of satellite-ground communication windows, and unstable inter-orbit inter-satellite links (ISLs). To reduce transmission delays, we further introduce tailored communication strategies that integrate both communication and computing resources. Specifically, we propose a parallel intra-orbit communication strategy, a topology-aware satellite-ground communication strategy, and a latency-minimalization inter-orbit communication strategy to reduce space communication costs. Simulation results demonstrate significant reductions in training time with improvements of approximately 33%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google