A framework for compressing unstructured scientific data via serialization

要約

既知のローカル接続を使用して非構造化科学データを圧縮するための一般的なフレームワークを紹介します。
一般的なアプリケーションは、任意の有限要素メッシュ上に定義されたシミュレーション データです。
このフレームワークは、元のノードの並べ替えを維持する貪欲なトポロジを採用しており、既存のデータ処理パイプラインへのシームレスな統合を可能にします。
この並べ替えプロセスはメッシュ接続のみに依存しており、最適な効率を得るためにオフラインで実行できます。
ただし、アルゴリズムの貪欲な性質により、オンザフライ実装もサポートされます。
提案された方法は、データ内の空間相関を利用するあらゆる圧縮アルゴリズムと互換性があります。
このアプローチの有効性は、MGARD、SZ、ZFP などのいくつかの圧縮方法を使用して、大規模な実際のデータセットで実証されています。

要約(オリジナル)

We present a general framework for compressing unstructured scientific data with known local connectivity. A common application is simulation data defined on arbitrary finite element meshes. The framework employs a greedy topology preserving reordering of original nodes which allows for seamless integration into existing data processing pipelines. This reordering process depends solely on mesh connectivity and can be performed offline for optimal efficiency. However, the algorithm’s greedy nature also supports on-the-fly implementation. The proposed method is compatible with any compression algorithm that leverages spatial correlations within the data. The effectiveness of this approach is demonstrated on a large-scale real dataset using several compression methods, including MGARD, SZ, and ZFP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google