Fast model inference and training on-board of Satellites

要約

衛星に搭載された人工知能は、データ伝送要件を軽減し、衛星群内でのリアルタイムの意思決定とコラボレーションを可能にする可能性を秘めています。
この研究では、RaVAEn と呼ばれる軽量基礎モデルを D-Orbit の ION SCV004 衛星に展開します。
RaVAEn は、小さな画像タイルから圧縮された潜在ベクトルを生成する変分自動エンコーダー (VAE) であり、いくつかの下流タスクを可能にします。
この研究では、衛星に搭載された RaVAEn の信頼性の高い使用法を実証し、4.8×4.8 km$^2$ エリアのタイルで 0.110 秒のエンコード時間を達成しました。
さらに、データの潜在表現を使用した衛星上での高速の数ショット トレーニングを紹介します。
オンボード CPU と利用可能な Myriad ビジョン プロセッシング ユニット (VPU) アクセラレータでのモデルの展開を比較します。
私たちの知る限り、この研究は、CubeSat 上でのマルチタスク モデルの展開と、機械学習モデルのオンボード トレーニングを初めて示しています。

要約(オリジナル)

Artificial intelligence onboard satellites has the potential to reduce data transmission requirements, enable real-time decision-making and collaboration within constellations. This study deploys a lightweight foundational model called RaVAEn on D-Orbit’s ION SCV004 satellite. RaVAEn is a variational auto-encoder (VAE) that generates compressed latent vectors from small image tiles, enabling several downstream tasks. In this work we demonstrate the reliable use of RaVAEn onboard a satellite, achieving an encoding time of 0.110s for tiles of a 4.8×4.8 km$^2$ area. In addition, we showcase fast few-shot training onboard a satellite using the latent representation of data. We compare the deployment of the model on the on-board CPU and on the available Myriad vision processing unit (VPU) accelerator. To our knowledge, this work shows for the first time the deployment of a multi-task model on-board a CubeSat and the on-board training of a machine learning model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google