NeurLZ: On Systematically Enhancing Lossy Compression Performance for Scientific Data based on Neural Learning with Error Control

要約

大規模な科学シミュレーションでは、ストレージと I/O に重大な課題を引き起こす大量のデータセットが生成されます。
従来の非可逆圧縮技術はパフォーマンスを向上させることができますが、圧縮率、データ品質、スループットのバランスをとることは依然として困難です。
これに対処するために、私たちは科学データ用の新しいクロスフィールド学習ベースでエラー制御された圧縮フレームワークである NeurLZ を提案します。
スキッピング DNN モデル、クロスフィールド学習、エラー制御を統合することで、私たちのフレームワークは非可逆圧縮パフォーマンスを大幅に向上させることを目指しています。
私たちの貢献は 3 つあります: (1) 軽量のスキッピング モデルを設計して、高忠実度の詳細保持を提供し、予測精度をさらに向上させます。
(2) クロスフィールド学習アプローチを採用し、データ予測精度を大幅に向上させ、圧縮率を大幅に向上させます。
(3) ユーザーの要件に従って厳密なエラー限界を提供するエラー制御アプローチを開発します。
Nyx (宇宙論的シミュレーション)、Miranda (大乱流シミュレーション)、ハリケーン (気象シミュレーション) など、いくつかの実世界の HPC アプリケーション データセットで NeurLZ を評価しました。
実験では、既存の最良のアプローチと比較して、同じデータ歪みの下で私たちのフレームワークが最大 90% の相対的なビット レートの削減を達成することが実証されています。

要約(オリジナル)

Large-scale scientific simulations generate massive datasets that pose significant challenges for storage and I/O. While traditional lossy compression techniques can improve performance, balancing compression ratio, data quality, and throughput remains difficult. To address this, we propose NeurLZ, a novel cross-field learning-based and error-controlled compression framework for scientific data. By integrating skipping DNN models, cross-field learning, and error control, our framework aims to substantially enhance lossy compression performance. Our contributions are three-fold: (1) We design a lightweight skipping model to provide high-fidelity detail retention, further improving prediction accuracy. (2) We adopt a cross-field learning approach to significantly improve data prediction accuracy, resulting in a substantially improved compression ratio. (3) We develop an error control approach to provide strict error bounds according to user requirements. We evaluated NeurLZ on several real-world HPC application datasets, including Nyx (cosmological simulation), Miranda (large turbulence simulation), and Hurricane (weather simulation). Experiments demonstrate that our framework achieves up to a 90% relative reduction in bit rate under the same data distortion, compared to the best existing approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google