LEO-Split: A Semi-Supervised Split Learning Framework over LEO Satellite Networks

要約

近年、LEO衛星システムの配備が進むにつれて、様々な宇宙分析（例えば、作物や気候のモニタリング）が可能になり、ディープラーニング（DL）の進歩に大きく依存している。しかし、LEO衛星と地上局（GS）の間の断続的な接続は、集中学習のためにGSへの生データのタイムリーな伝送を著しく妨げ、一方、スケールアップされたDLモデルは、リソースに制約のあるLEO衛星での分散学習を妨げる。分割学習(SL)は、モデルを分割し、主要な学習作業負荷をGSにオフロードすることにより、これらの問題に対する潜在的な解決策となり得るが、労働集約的なラベリングプロセスは依然として障害であり、断続的な接続性とデータの不均一性は他の課題である。本論文では、これらの課題に対処するために、衛星ネットワーク用に調整された半教師付き（SS）SL設計であるLEO-Splitを提案する。SS学習を活用して（ラベル付き）データ不足を扱い、衛星とGSの非接触時間の学習失敗に取り組む補助モデルを構築する。さらに、衛星間のデータ不均衡を是正するための擬似ラベリングアルゴリズムを提案する。最後に、GSにおけるサーバ側のサブモデル学習のオーバーフィッティングを防ぐために、適応的な活性化補間スキームを考案する。実世界のLEO衛星トレース（Starlinkなど）を用いた広範な実験により、我々のLEO-Splitフレームワークが最先端のベンチマークと比較して優れた性能を達成することを実証する。

要約(オリジナル)

Recently, the increasing deployment of LEO satellite systems has enabled various space analytics (e.g., crop and climate monitoring), which heavily relies on the advancements in deep learning (DL). However, the intermittent connectivity between LEO satellites and ground station (GS) significantly hinders the timely transmission of raw data to GS for centralized learning, while the scaled-up DL models hamper distributed learning on resource-constrained LEO satellites. Though split learning (SL) can be a potential solution to these problems by partitioning a model and offloading primary training workload to GS, the labor-intensive labeling process remains an obstacle, with intermittent connectivity and data heterogeneity being other challenges. In this paper, we propose LEO-Split, a semi-supervised (SS) SL design tailored for satellite networks to combat these challenges. Leveraging SS learning to handle (labeled) data scarcity, we construct an auxiliary model to tackle the training failure of the satellite-GS non-contact time. Moreover, we propose a pseudo-labeling algorithm to rectify data imbalances across satellites. Lastly, an adaptive activation interpolation scheme is devised to prevent the overfitting of server-side sub-model training at GS. Extensive experiments with real-world LEO satellite traces (e.g., Starlink) demonstrate that our LEO-Split framework achieves superior performance compared to state-ofthe-art benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL