Compressed Multi-task embeddings for Data-Efficient Downstream training and inference in Earth Observation

要約

地球観測 (EO) における大規模データのリポジトリが増大するにつれて、モデルのトレーニングと推論のための転送と保管のコストも増大し、かなりのリソースが消費されます。
私たちは、生データの代わりに圧縮された埋め込みをデータ消費者に転送することに基づいた Neural Embedding Compression (NEC) を導入します。
学習されたニューラル圧縮を通じて基礎モデル (FM) を適応させ、圧縮率と埋め込みユーティリティの間のトレードオフを調整しながらマルチタスク埋め込みを生成します。
短いトレーニング期間 (事前トレーニングの反復の 1%) では、FM パラメーターのごく一部 (10%) のみを更新します。
シーン分類とセマンティック セグメンテーションという 2 つの EO タスクに関して NEC を評価します。
従来の圧縮を生データに適用する場合と比較して、NEC はデータを 75% ～ 90% 削減しながら同様の精度を達成します。
99.7% の圧縮でも、シーン分類タスクのパフォーマンスは 5% しか低下しません。
全体として、NEC は、マルチタスク EO モデリングに対するデータ効率が高く、パフォーマンスの高いアプローチです。

要約(オリジナル)

As repositories of large scale data in earth observation (EO) have grown, so have transfer and storage costs for model training and inference, expending significant resources. We introduce Neural Embedding Compression (NEC), based on the transfer of compressed embeddings to data consumers instead of raw data. We adapt foundation models (FM) through learned neural compression to generate multi-task embeddings while navigating the tradeoff between compression rate and embedding utility. We update only a small fraction of the FM parameters (10%) for a short training period (1% of the iterations of pre-training). We evaluate NEC on two EO tasks: scene classification and semantic segmentation. Compared with applying traditional compression to the raw data, NEC achieves similar accuracy with a 75% to 90% reduction in data. Even at 99.7% compression, performance drops by only 5% on the scene classification task. Overall, NEC is a data-efficient yet performant approach for multi-task EO modelling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google