COSMIC: Compress Satellite Images Efficiently via Diffusion Compensation

要約

宇宙に存在する衛星の数が急速に増加し、その能力が向上したことに伴い、衛星によって収集される地球観測画像の量は、衛星と地上間のリンクの伝送限界を超えています。
既存の学習済み画像圧縮ソリューションは、高度なエンコーダを使用して有益な特徴を圧縮として抽出し、デコーダを使用して再構築することにより顕著なパフォーマンスを実現していますが、コンピューティング能力と電源が限られている現在の衛星の組み込み GPU にこれらの複雑なエンコーダを直接展開することは依然として困難です。
軌道上で画像を圧縮します。
この論文では、衛星画像を送信するためのシンプルかつ効果的な学習型圧縮ソリューションである COSMIC を提案します。
まず、衛星上で軽量のエンコーダ (つまり FLOP を $2.6\sim 5\times $ 削減) を設計し、高い画像圧縮率を達成して衛星から地上へのリンクを節約します。
次に、地上での再構成では、エンコーダの簡素化による特徴抽出能力の低下に対処するために、デコード時に画像の詳細を補償する拡散ベースのモデルを提案します。
私たちの洞察によると、衛星の地球観測写真は単なる画像ではなく、実際にテキストと画像のペアの性質を持つマルチモーダル データです。なぜなら、衛星の地球観測写真は、さまざまな情報として使用できる豊富なセンサー データ (座標、タイムスタンプなど) とともに収集されているためです。
拡散が発生する条件。
広範な実験により、COSMIC は知覚と歪みの両方の指標において最先端のベースラインを上回るパフォーマンスを示しています。

要約(オリジナル)

With the rapidly increasing number of satellites in space and their enhanced capabilities, the amount of earth observation images collected by satellites is exceeding the transmission limits of satellite-to-ground links. Although existing learned image compression solutions achieve remarkable performance by using a sophisticated encoder to extract fruitful features as compression and using a decoder to reconstruct, it is still hard to directly deploy those complex encoders on current satellites’ embedded GPUs with limited computing capability and power supply to compress images in orbit. In this paper, we propose COSMIC, a simple yet effective learned compression solution to transmit satellite images. We first design a lightweight encoder (i.e. reducing FLOPs by $2.6\sim 5\times $) on satellite to achieve a high image compression ratio to save satellite-to-ground links. Then, for reconstructions on the ground, to deal with the feature extraction ability degradation due to simplifying encoders, we propose a diffusion-based model to compensate image details when decoding. Our insight is that satellite’s earth observation photos are not just images but indeed multi-modal data with a nature of Text-to-Image pairing since they are collected with rich sensor data (e.g. coordinates, timestamp, etc.) that can be used as the condition for diffusion generation. Extensive experiments show that COSMIC outperforms state-of-the-art baselines on both perceptual and distortion metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google