Multi-spectral Entropy Constrained Neural Compression of Solar Imagery

要約

太陽の動的挙動を研究するミッションは、太陽のマルチスペクトル画像を取得し、それらを毎日地上局に送信するように定義されています。
送信を効率的かつ実現可能にするには、画像圧縮システムを活用する必要があります。
最近成功したエンドツーエンドの最適化されたニューラル ネットワーク ベースの画像圧縮システムは、アドホックな方法で使用できる大きな可能性を示しています。
この研究では、波長内/波長間の両方の冗長性を効率的にキャプチャするためのトランスフォーマーベースのマルチスペクトルニューラル画像圧縮器を提案しました。
ウィンドウベースのセルフ アテンション メカニズムの局所性を解き放つために、ウィンドウ間で集約されたトークンのマルチヘッド セルフ アテンションを提案します。
さらに、ニューラル コンプレッサー オートエンコーダーのシフトを不変にするために、ランダムにシフトされたウィンドウ アテンション メカニズムが使用され、トランスフォーマー ブロックが入力ドメイン内の変換の影響を受けないようになります。
我々は、提案されたアプローチが従来の圧縮アルゴリズムよりも優れているだけでなく、単一スペクトル圧縮と比較して複数の波長に沿って画像の非相関性を向上させることができることを実証します。

要約(オリジナル)

Missions studying the dynamic behaviour of the Sun are defined to capture multi-spectral images of the sun and transmit them to the ground station in a daily basis. To make transmission efficient and feasible, image compression systems need to be exploited. Recently successful end-to-end optimized neural network-based image compression systems have shown great potential to be used in an ad-hoc manner. In this work we have proposed a transformer-based multi-spectral neural image compressor to efficiently capture redundancies both intra/inter-wavelength. To unleash the locality of window-based self attention mechanism, we propose an inter-window aggregated token multi head self attention. Additionally to make the neural compressor autoencoder shift invariant, a randomly shifted window attention mechanism is used which makes the transformer blocks insensitive to translations in their input domain. We demonstrate that the proposed approach not only outperforms the conventional compression algorithms but also it is able to better decorrelates images along the multiple wavelengths compared to single spectral compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google