Context-Aware Neural Video Compression on Solar Dynamics Observatory

要約

NASA の太陽力学観測所 (SDO) ミッションは、太陽の毎日の活動に関する大量のデータを収集します。
データ圧縮は、データの冗長性を排除してデータ ストレージとビデオ帯域幅の要件を削減するための宇宙ミッションにとって非常に重要です。
この論文では、SDO 画像用に特別に設計された新しいニューラル Transformer ベースのビデオ圧縮アプローチを紹介します。
私たちの主な目的は、太陽画像に固有の時間的および空間的冗長性を効率的に利用して、高い圧縮率を取得することです。
私たちが提案するアーキテクチャは、ウィンドウベースのセルフアテンション モジュールと効率的な融合ローカルアウェア フィードフォワード (FLaFF) ネットワークを組み込んだ Fused Local-aware Window (FLaWin) と呼ばれる新しい Transformer ブロックの恩恵を受けています。
このアーキテクチャ設計により、豊かで多様なコンテキスト表現の抽出を容易にしながら、短距離情報と長距離情報を同時に取得できるようになります。
さらに、この設計の選択により、計算の複雑さが軽減されます。
実験結果は、FLaWin Transformer ブロックが圧縮パフォーマンスに大きく貢献し、レートと歪みのトレードオフの点で H.264 や H.265 などの従来の手動ビデオ コーデックを上回っていることを示しています。

要約(オリジナル)

NASA’s Solar Dynamics Observatory (SDO) mission collects large data volumes of the Sun’s daily activity. Data compression is crucial for space missions to reduce data storage and video bandwidth requirements by eliminating redundancies in the data. In this paper, we present a novel neural Transformer-based video compression approach specifically designed for the SDO images. Our primary objective is to efficiently exploit the temporal and spatial redundancies inherent in solar images to obtain a high compression ratio. Our proposed architecture benefits from a novel Transformer block called Fused Local-aware Window (FLaWin), which incorporates window-based self-attention modules and an efficient fused local-aware feed-forward (FLaFF) network. This architectural design allows us to simultaneously capture short-range and long-range information while facilitating the extraction of rich and diverse contextual representations. Moreover, this design choice results in reduced computational complexity. Experimental results demonstrate the significant contribution of the FLaWin Transformer block to the compression performance, outperforming conventional hand-engineered video codecs such as H.264 and H.265 in terms of rate-distortion trade-off.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google