NeurLZ: On Enhancing Lossy Compression Performance based on Error-Controlled Neural Learning for Scientific Data

要約

大規模な科学シミュレーションでは、ストレージと I/O に重大な課題を引き起こす大量のデータセットが生成されます。
従来の非可逆圧縮技術はパフォーマンスを向上させることができますが、圧縮率、データ品質、スループットのバランスをとることは依然として困難です。
これに対処するために、私たちは科学データ用の新しいクロスフィールド学習ベースでエラー制御された圧縮フレームワークである NeurLZ を提案します。
スキッピング DNN モデル、クロスフィールド学習、エラー制御を統合することで、私たちのフレームワークは非可逆圧縮パフォーマンスを大幅に向上させることを目指しています。
私たちの貢献は 3 つあります: (1) 軽量のスキッピング モデルを設計して、高忠実度の詳細保持を提供し、予測精度をさらに向上させます。
(2) クロスフィールド学習アプローチを採用し、データ予測精度を大幅に向上させ、圧縮率を大幅に向上させます。
(3) ユーザーの要件に従って厳密なエラー限界を提供するエラー制御アプローチを開発します。
Nyx (宇宙論的シミュレーション)、Miranda (大乱流シミュレーション)、ハリケーン (気象シミュレーション) など、いくつかの実世界の HPC アプリケーション データセットで NeurLZ を評価しました。
実験では、既存の最良のアプローチと比較して、同じデータ歪みの下で私たちのフレームワークが最大 90% の相対的なビット レートの削減を達成することが実証されています。

要約(オリジナル)

Large-scale scientific simulations generate massive datasets that pose significant challenges for storage and I/O. While traditional lossy compression techniques can improve performance, balancing compression ratio, data quality, and throughput remains difficult. To address this, we propose NeurLZ, a novel cross-field learning-based and error-controlled compression framework for scientific data. By integrating skipping DNN models, cross-field learning, and error control, our framework aims to substantially enhance lossy compression performance. Our contributions are three-fold: (1) We design a lightweight skipping model to provide high-fidelity detail retention, further improving prediction accuracy. (2) We adopt a cross-field learning approach to significantly improve data prediction accuracy, resulting in a substantially improved compression ratio. (3) We develop an error control approach to provide strict error bounds according to user requirements. We evaluated NeurLZ on several real-world HPC application datasets, including Nyx (cosmological simulation), Miranda (large turbulence simulation), and Hurricane (weather simulation). Experiments demonstrate that our framework achieves up to a 90% relative reduction in bit rate under the same data distortion, compared to the best existing approach.

arxiv情報

著者 Wenqi Jia,Youyuan Liu,Zhewen Hu,Jinzhen Wang,Boyuan Zhang,Wei Niu,Junzhou Huang,Stavros Kalafatis,Sian Jin,Miao Yin
発行日 2024-09-10 02:02:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.DC パーマリンク